Het fundament onder een AI-project

Van drie functies naar een berg werk

Neem het project rond Kamervragen. Aan de oppervlakte lag één vraag: hoe kunnen we Kamervragen sneller, nauwkeuriger en consistenter beantwoorden? Met beleidsmedewerkers kwamen we op drie functies:

• Een nieuwe vraag vergelijken met eerder gestelde vragen en de antwoorden daarop.
• Automatisch een dossier samenstellen van relevante documenten en passages.
• Een mogelijk antwoord formuleren als startpunt voor de medewerker.

Drie regels tekst. Maar zodra je erin duikt, blijkt dat je ook met tweeminutendebatten en mondelinge vragen te maken krijgt, dat de data op verschillende plekken staat en verschillend is gestructureerd (de site van de Tweede Kamer, Officiële Bekendmakingen, Rijksoverheid, en daarnaast sites van gemeenten en kennisinstellingen), en dat je voor elke functie andere gereedschappen nodig hebt om data op te halen, te bewaren, te doorzoeken en te verrijken.

Dat is geen argument om niet te beginnen. Het is een argument om dit vooraf uit te zoeken in plaats van halverwege.

Data: waar de kwaliteit vandaan komt

Elk AI-project begint hier, en de kwaliteit van je uitkomst hangt grotendeels af van de kwaliteit van je data. Op hoofdlijnen zijn het drie stappen.

• Ophalen. Per bron bepaal je hoe je erbij komt: een koppeling met een databank, een export, of het uitlezen van een website. Denk hier ook al na over de verversing, want een oplossing die je in productie wilt hebben, moet ook volgende maand nog kloppen.
• Klaarmaken. Opschonen en structureren. Lange teksten in stukken hakken en omzetten in getallenreeksen, zodat ze doorzoekbaar zijn en een model ze kan gebruiken. Onspannend werk, en het bepaalt of je later een antwoord met bron kunt geven.
• Beschikbaar stellen. De data toegankelijk maken voor de onderdelen die hem nodig hebben: de zoekmachine, het model, de interface.

Bij de Kamervragen ging het om eerdere vragen, antwoorden, debatverslagen, rapporten en nieuwsberichten. Wat daar uitkwam, was geen bestand maar honderdduizenden documenten (2023) waar je per vraag doorheen moet kunnen. Inmiddels zitten er in Codi ruim vijftien miljoen documenten uit honderden bronnen.

Processen: ook de olifantenpaadjes

De use case van een AI-project zit bijna altijd in een proces met zijstraatjes. Drie dingen om te doen voordat je bouwt:

• Teken het proces uit. Waar komt informatie binnen, wat gebeurt ermee, en hoe komt het eruit? Een nieuw systeem moet daarin passen, en soms een nieuwe stap toevoegen die iets oplevert.
• Zoek de olifantenpaadjes. Processen zijn zelden lineair. Bij de Kamervragen bleek dat er naast de officiële route ook tweeminutendebatten en mondelinge vragen bestaan, die allebei anders lopen. Die twee hadden een eigen benadering nodig, en dat had je niet gezien als je alleen de procesplaat had gelezen.
• Bepaal de rol van het systeem. Neemt het een stap over of ondersteunt het? Bij de Kamervragen kozen we het tweede: zoeken en presenteren doet het systeem, formuleren doet de medewerker. Waarom, staat in deel 5.

Wat je hieruit meeneemt

• Data, systemen en processen zijn het fundament. Een goed model op een slecht fundament levert een vlot antwoord op dat niet klopt.
• Ophalen, klaarmaken en beschikbaar stellen zijn drie aparte stappen, en de tweede kost het meeste tijd.
• Voor tekst heb je flexibele opslag en zoeken op betekenis nodig.
• Waar je onderdelen laat draaien, is een keuze die je vooraf maakt. Voor veel organisaties is het een eis.
• De verborgen routes in een proces bepalen vaker het ontwerp dan het officiële proces.