Experimenteren & Valideren | Blogserie GenAI

Valideren van je AI-oplossing | Blogserie GenAI

Lees in dit vijfde blog in de blogserie over Generatieve AI hoe je het valideren van aannames werkt voor maximale impact.

Introductie

Welkom terug bij onze serie Generatieve AI (GenAI) projecten. In deze serie doorlopen we zes belangrijke aspecten bij het implementeren van Generatieve AI in jouw organisatie, zoals het selecteren van een sterke use case, het creëren van een solide technisch fundament, het werken met AI-modellen en het mensgericht toepassen van AI. In dit zesde blog richten we ons op een ander essentieel aspect: het valideren van de haalbaarheid, waarde en impact van AI-oplossingen.

Bewijzen of juist ontkrachten van aannames

Met “valideren” bedoelen we het bewijzen of juist ontkrachten van aannames die we hebben over de voorgenomen (Gen)AI-oplossing. Denk hierbij aan de wensen die gebruikers hebben, de wijze waarop technische elementen (samen)werken of de impact die de AI-oplossing heeft op de organisatie, de mens of zelfs de maatschappij. Deze aannames brengen we onder in de volgende categorieën:

Valideren

  • Haalbaarheid: Deze aannames gaan over technische en praktische mogelijkheden. Kunnen we de technologie daadwerkelijk ontwikkelen en toepassen binnen de gestelde randvoorwaarden?
  • Wenselijkheid: Deze aannames gaan over de waarde van de oplossing in het oog van de gebruikers. In hoeverre los je een werkelijk probleem op en voldoet de oplossing aan hun behoeften en verwachtingen?
  • Toekomstbestendigheid: Deze aannames gaan over de economische en operationele aspecten. Is de oplossing bijvoorbeeld economisch zinvol en duurzaam op lange termijn binnen de markt en het bedrijfsmodel?

The proof is in the pudding!

Hoeveel gebruikers of (potentiële) klanten je over hun intenties ook spreekt en hoeveel (technische) kennis je ook verzamelt over je voorgenomen AI-oplossing: in welke mate en op welke wijze je AI-oplossing werkt, ervaar je pas wanneer deze in het echt wordt gebruikt.

En hier wringt ook de schoen: Erkennen dat je te maken hebt met onzekerheden in je project voelt ongemakkelijk en gaat soms ook tegen de manier hoe binnen je organisatie naar projecten wordt gekeken. Tegelijkertijd kan het negeren ervan je in een latere fase duur komen te staan. Zeker in een vroeg stadium is het doel om zoveel mogelijk te leren over de wenselijkheid, haalbaarheid en toekomstbestendigheid en niet om in één keer de perfecte oplossing te introduceren. Ons advies is om zo snel mogelijk eindgebruikers te laten werken met je AI-oplossing, feedback te verzamelen en op basis daarvan steeds een nieuwere, betere versie te introduceren.

Valideren met de Data Discovery Sprint

Onze Data Discovery Sprint is een bewezen methodiek die helpt de onzekerheid in AI-projecten te omarmen en overbruggen. Het helpt de benodigde flexibiliteit te bereiken in je organisatie en legt de basis voor een solide AI-project.

Fase 1: Launch

In onze unieke ‘Data Discovery Sprint’, die we in ons tweede blog hebben geïntroduceerd, starten we met de ‘Launch’-fase. Hierin duiken we met volle vaart in het definiëren van de scope van een AI-project. We voeren snelle interviews, brainstormsessies en technisch onderzoek uit, en gebruiken een aangepast waardepropositiecanvas. Dit hulpmiddel, uniek voor JoinSeven, voegt aan het klantprofiel en de oplossing de essentiële technische randvoorwaarden toe, waardoor we een gedetailleerd en toch flexibel overzicht krijgen van de projectvereisten.

Fase 2: Validate

De ‘Validate’-fase staat in het teken van het valideren van aannames over haalbaarheid, wenselijkheid en toekomstbestendigheid. We benaderen dit proces actief en praktisch: in plaats van uitgebreid onderzoek verrichten we doelgerichte experimenten. Bij haalbaarheid toetsen we de technische en data-aspecten met een initiële ‘proof of concept’. Voor wenselijkheid ontwikkelen we prototypes en voeren ‘wizard of Oz’-tests uit om gebruikersinteracties te observeren. Tot slot evalueren we in de toekomstbestendigheid de marktacceptatie en economische levensvatbaarheid van de oplossing.

Fases 3 en 4: Awaken en Deliver

In ‘Awaken’ en ‘Deliver’, de vervolgfases, richten we ons op de fijnere details en de daadwerkelijke implementatie van de AI-oplossing. Hier passen we vergelijkbare experimentele benaderingen toe als in de ‘Validate’-fase, nu gericht op incrementele verbeteringen en optimalisaties. Deze methodische en evenwichtige aanpak stelt ons in staat om zowel de exploitatieve als exploratieve uitdagingen van AI-projecten aan te gaan.

Data Discovery Sprint

Lees meer

Stap 1

Launch

Stap 2

Validate

Stap 3

Awaken

Stap 4

Deliver

Experiment designs

Zoals we eerder benoemden, plotten we aannames hoofdzakelijk in drie categorieën: haalbaarheid, wenselijkheid en toekomstbestendigheid. Hieronder volgt een lijst van experiment designs voor elk van deze categorieën, met een korte uitleg over hoe ze kunnen worden toegepast in jouw (Gen)AI projecten:

Valideren van de haalbaarheid

  • Proof of Concept (PoC): Test de technische haalbaarheid van de AI-oplossing door een basisversie te ontwikkelen die de kernfunctionaliteit demonstreert. In GenAI projecten kan dit betekenen dat een klein, werkend model wordt gecreëerd om te bewijzen dat het concept technisch uitvoerbaar is.
  • Dataverificatietest: Beoordeel de beschikbaarheid, kwaliteit en toepasbaarheid van de data die nodig is voor de AI-oplossing. Dit kan inhouden dat je werkt met een subset van data om te bevestigen of de data geschikt is voor het beoogde gebruik.
  • Technische haalbaarheidstest: Onderzoek of de bestaande infrastructuur en technologische middelen voldoende zijn om de AI-oplossing te ondersteunen. Dit kan een evaluatie van hardware, software en algoritmen omvatten.

Valideren van de wenselijkheid

  • Gebruikerstesten: Ontwikkel prototypen of mock-ups van de oplossing en observeer hoe gebruikers ermee omgaan. Dit helpt om te begrijpen of de AI-oplossing aansluit bij de behoeften en verwachtingen van de gebruiker.
  • Wizard of Oz test: Simuleer de AI-oplossing in een gecontroleerde omgeving zonder dat de gebruiker weet dat het nog niet volledig functioneel is. Dit helpt om inzicht te krijgen in hoe gebruikers omgaan met de uiteindelijke oplossing.
  • A/B Testen: Bied verschillende versies van een functie of product aan een groep gebruikers aan om te bepalen welke versie beter presteert in termen van gebruikersengagement en -tevredenheid.

Valideren van de toekomstbestendigheid

  • Marktanalyse: Onderzoek de marktvraag en concurrentie voor de AI-oplossing. Dit kan marktonderzoek omvatten om de potentiële acceptatie en prijsgevoeligheid te beoordelen.
  • Business Model Testing: Evalueer verschillende bedrijfsmodellen en prijsstrategieën voor de AI-oplossing. Dit kan het testen van verschillende prijspunten of verdienmodellen omvatten om de levensvatbaarheid op lange termijn te beoordelen.
  • Regulatory Compliance Test: Voer tijdens de ontwikkeling assessments uit, zoals een DPIA of IAMA.

 

Experimenteren & Valideren | Blogserie GenAI

Direct alle inzichten?

Wil je niet wachten tot alle blogs online staan? Vraag dan direct onze whitepaper over deze serie aan.

    Conclusie

    In dit blog hebben we je meegenomen in het valideren van aannames voor jouw AI-project. We namen je mee in hoe je onzekerheid in je AI-project omarmt en gaven met onze Data Discovery Sprint en effectieve experiment designs concrete handvatten om hiermee in jouw project aan de slag te gaan.

    Een aantal hoofdpunten:

    • Het erkennen van onzekerheid en het hebben van aannames is cruciaal voor een succesvol AI-project
    • De “sweet spot of innovation” zit in het midden van de haalbaarheid, wenselijkheid en toekomstbestendigheid van je AI-oplossing
    • De Data Discovery Sprint ondersteunt in het experimenteren en leren in jouw AI-project
    • Iedere (type) aanname kan je valideren met verschillende experiment designs

    Vooruitblik

    In de volgende blogs nemen we je mee door alle stappen en overwegingen voor een succesvolle implementatie van GenAI in jouw organisatie. We voorzien je van de benodigde kennis en tools om in jouw organisatie een succesvol AI-project op te zetten. Dus blijf ons volgen en schrijf je in voor de volgende blogs via het formulier hieronder!

    Wat is Generatieve AI?

    Blog 1

    Introductie in Generatieve AI

    In het intro-blog behandelen we het concept Generatieve AI: Wat is Generatieve AI? We geven een introductie in Generatieve AI: wat het is, hoe het werkt en welke kansen en uitdagingen er liggen bij het implementeren ervan in je organisatie.

    AI Use Case

    Blog 2

    Selecteer je use case

    In het tweede blog gaan we in op het onderzoek naar en de selectie van een geschikte use case. Hierbij gaan we in op valkuilen bij het kiezen van use cases en het belang om een oplossing voor een probleem te zoeken en niet andersom.

    Fundament AI

    Blog 3

    Het fundament van je AI-project

    In het derde blog gaan we in op het fundament van ieder succesvol AI-project: de informatievoorziening. Ook voor AI geldt; “garbage in, garbage out”. Het gaat hier niet alleen de AI-modellen die je gebruikt, maar juist ook de data en systemen die deze modellen voeden.

    Taalmodellen

    Blog 4

    Selecteer, train en tune
    je AI-model

    In het vierde blog gaan we in op het trainen en tunen van je AI-model voor je use-case. Voor de meeste use-cases is meer nodig dan een “off-the-shelf” oplossing. Het trainen en/of tunen van je taalmodel voor jouw use-case maakt een groot verschil.

    Mensgerichte AI

    Blog 5

    Verantwoord inzetten van AI

    In het vijfde blog gaan we in op ethische en maatschappelijke overwegingen, zoals privacy en algoritme-bias. Technologie is op zich niet “goed” of “slecht”, maar een verkeerde implementatie kan onnodig risico’s met zich meebrengen. Wij betogen voor een verantwoorde en mensgerichte inzet van AI.

    Validatie op AI

    Blog 6

    Valideer de haalbaarheid, wenselijkheid en levensvatbaarheid

    In het zesde blog gaan we in op het innovatieve aspect van Generatieve AI-projecten en hoe je de relevantie en waarde van je use-case valideert. Onze Data Discovery Sprint geeft hier om een snelle, nauwkeurige, mensgerichte en snelle manier invulling aan.

    Blog 7

    Begeleid je organisatie in het werken met Generatieve AI

    In het zevende blog gaan we in op hoe je mensen in je organisatie leert werken met AI. Een succesvolle implementatie vraagt ook om een gedegen implementatiestrategie met oog voor de technologie, werkprocessen en de mensen die ermee werken.

    Samenvatting blogserie

    Blog 8

    Recap: Geleerde lessen van de blogserie

    In het laatste blog vatten we alle geleerde lessen samen en blikken we vooruit op het vervolg na deze blogserie.

    Wat is Generatieve AI? AI Use Case Fundament AI Taalmodellen Mensgerichte AI Validatie op AI Samenvatting blogserie

    Meer weten?

    Wil je meer informatie over het valideren van aannames en experiment designs in jouw project naar aanleiding van dit blog? Niels gaat er graag met je over in gesprek.

    Wat is Generatieve AI? Co-Founder Niels van Bruggen