Valideren van je AI-oplossing | Blogserie GenAI

Introductie

Welkom terug bij onze serie Generatieve AI (GenAI) projecten. In deze serie doorlopen we zes belangrijke aspecten bij het implementeren van Generatieve AI in jouw organisatie, zoals het selecteren van een sterke use case, het creëren van een solide technisch fundament, het werken met AI-modellen en het mensgericht toepassen van AI. In dit zesde blog richten we ons op een ander essentieel aspect: het valideren van de haalbaarheid, waarde en impact van AI-oplossingen.

Bewijzen of juist ontkrachten van aannames

Met “valideren” bedoelen we het bewijzen of juist ontkrachten van aannames die we hebben over de voorgenomen (Gen)AI-oplossing. Denk hierbij aan de wensen die gebruikers hebben, de wijze waarop technische elementen (samen)werken of de impact die de AI-oplossing heeft op de organisatie, de mens of zelfs de maatschappij. Deze aannames brengen we onder in de volgende categorieën:

• Haalbaarheid: Deze aannames gaan over technische en praktische mogelijkheden. Kunnen we de technologie daadwerkelijk ontwikkelen en toepassen binnen de gestelde randvoorwaarden?
• Wenselijkheid: Deze aannames gaan over de waarde van de oplossing in het oog van de gebruikers. In hoeverre los je een werkelijk probleem op en voldoet de oplossing aan hun behoeften en verwachtingen?
• Toekomstbestendigheid: Deze aannames gaan over de economische en operationele aspecten. Is de oplossing bijvoorbeeld economisch zinvol en duurzaam op lange termijn binnen de markt en het bedrijfsmodel?

The proof is in the pudding!

Hoeveel gebruikers of (potentiële) klanten je over hun intenties ook spreekt en hoeveel (technische) kennis je ook verzamelt over je voorgenomen AI-oplossing: in welke mate en op welke wijze je AI-oplossing werkt, ervaar je pas wanneer deze in het echt wordt gebruikt.

En hier wringt ook de schoen: Erkennen dat je te maken hebt met onzekerheden in je project voelt ongemakkelijk en gaat soms ook tegen de manier hoe binnen je organisatie naar projecten wordt gekeken. Tegelijkertijd kan het negeren ervan je in een latere fase duur komen te staan. Zeker in een vroeg stadium is het doel om zoveel mogelijk te leren over de wenselijkheid, haalbaarheid en toekomstbestendigheid en niet om in één keer de perfecte oplossing te introduceren. Ons advies is om zo snel mogelijk eindgebruikers te laten werken met je AI-oplossing, feedback te verzamelen en op basis daarvan steeds een nieuwere, betere versie te introduceren.

Valideren met de Data Discovery Sprint

Onze Data Discovery Sprint is een bewezen methodiek die helpt de onzekerheid in AI-projecten te omarmen en overbruggen. Het helpt de benodigde flexibiliteit te bereiken in je organisatie en legt de basis voor een solide AI-project.

Fase 1: Launch

In onze unieke ‘Data Discovery Sprint’, die we in ons tweede blog hebben geïntroduceerd, starten we met de ‘Launch’-fase. Hierin duiken we met volle vaart in het definiëren van de scope van een AI-project. We voeren snelle interviews, brainstormsessies en technisch onderzoek uit, en gebruiken een aangepast waardepropositiecanvas. Dit hulpmiddel, uniek voor JoinSeven, voegt aan het klantprofiel en de oplossing de essentiële technische randvoorwaarden toe, waardoor we een gedetailleerd en toch flexibel overzicht krijgen van de projectvereisten.

Fase 2: Validate

De ‘Validate’-fase staat in het teken van het valideren van aannames over haalbaarheid, wenselijkheid en toekomstbestendigheid. We benaderen dit proces actief en praktisch: in plaats van uitgebreid onderzoek verrichten we doelgerichte experimenten. Bij haalbaarheid toetsen we de technische en data-aspecten met een initiële ‘proof of concept’. Voor wenselijkheid ontwikkelen we prototypes en voeren ‘wizard of Oz’-tests uit om gebruikersinteracties te observeren. Tot slot evalueren we in de toekomstbestendigheid de marktacceptatie en economische levensvatbaarheid van de oplossing.

Fases 3 en 4: Awaken en Deliver

In ‘Awaken’ en ‘Deliver’, de vervolgfases, richten we ons op de fijnere details en de daadwerkelijke implementatie van de AI-oplossing. Hier passen we vergelijkbare experimentele benaderingen toe als in de ‘Validate’-fase, nu gericht op incrementele verbeteringen en optimalisaties. Deze methodische en evenwichtige aanpak stelt ons in staat om zowel de exploitatieve als exploratieve uitdagingen van AI-projecten aan te gaan.

Experiment designs

Zoals we eerder benoemden, plotten we aannames hoofdzakelijk in drie categorieën: haalbaarheid, wenselijkheid en toekomstbestendigheid. Hieronder volgt een lijst van experiment designs voor elk van deze categorieën, met een korte uitleg over hoe ze kunnen worden toegepast in jouw (Gen)AI projecten:

Valideren van de haalbaarheid

• Proof of Concept (PoC): Test de technische haalbaarheid van de AI-oplossing door een basisversie te ontwikkelen die de kernfunctionaliteit demonstreert. In GenAI projecten kan dit betekenen dat een klein, werkend model wordt gecreëerd om te bewijzen dat het concept technisch uitvoerbaar is.
• Dataverificatietest: Beoordeel de beschikbaarheid, kwaliteit en toepasbaarheid van de data die nodig is voor de AI-oplossing. Dit kan inhouden dat je werkt met een subset van data om te bevestigen of de data geschikt is voor het beoogde gebruik.
• Technische haalbaarheidstest: Onderzoek of de bestaande infrastructuur en technologische middelen voldoende zijn om de AI-oplossing te ondersteunen. Dit kan een evaluatie van hardware, software en algoritmen omvatten.

Valideren van de wenselijkheid

• Gebruikerstesten: Ontwikkel prototypen of mock-ups van de oplossing en observeer hoe gebruikers ermee omgaan. Dit helpt om te begrijpen of de AI-oplossing aansluit bij de behoeften en verwachtingen van de gebruiker.
• Wizard of Oz test: Simuleer de AI-oplossing in een gecontroleerde omgeving zonder dat de gebruiker weet dat het nog niet volledig functioneel is. Dit helpt om inzicht te krijgen in hoe gebruikers omgaan met de uiteindelijke oplossing.
• A/B Testen: Bied verschillende versies van een functie of product aan een groep gebruikers aan om te bepalen welke versie beter presteert in termen van gebruikersengagement en -tevredenheid.

Valideren van de toekomstbestendigheid

• Marktanalyse: Onderzoek de marktvraag en concurrentie voor de AI-oplossing. Dit kan marktonderzoek omvatten om de potentiële acceptatie en prijsgevoeligheid te beoordelen.
• Business Model Testing: Evalueer verschillende bedrijfsmodellen en prijsstrategieën voor de AI-oplossing. Dit kan het testen van verschillende prijspunten of verdienmodellen omvatten om de levensvatbaarheid op lange termijn te beoordelen.
• Regulatory Compliance Test: Voer tijdens de ontwikkeling assessments uit, zoals een DPIA of IAMA.

Conclusie

In dit blog hebben we je meegenomen in het valideren van aannames voor jouw AI-project. We namen je mee in hoe je onzekerheid in je AI-project omarmt en gaven met onze Data Discovery Sprint en effectieve experiment designs concrete handvatten om hiermee in jouw project aan de slag te gaan.

Een aantal hoofdpunten:

• Het erkennen van onzekerheid en het hebben van aannames is cruciaal voor een succesvol AI-project
• De “sweet spot of innovation” zit in het midden van de haalbaarheid, wenselijkheid en toekomstbestendigheid van je AI-oplossing
• De Data Discovery Sprint ondersteunt in het experimenteren en leren in jouw AI-project
• Iedere (type) aanname kan je valideren met verschillende experiment designs