AI hallucinaties meten: zo zie je hoe vaak je AI iets verzint

Kort gezegd: Wil je AI hallucinaties meten? Kijk dan op een vaste set vragen naar het deel van de antwoorden met iets onjuists of verzonnens. De score van een model op een openbare ranglijst is niet jouw score. Je prompt, je documenten en je gebruikers zijn anders. Meet het zelf met echte vragen, stel elke vraag meerdere keren en volg de trend na elke wijziging.

Je hebt een AI-assistent ingezet zodat klanten en collega’s snel een goed antwoord krijgen. Meestal lukt dat ook. Af en toe zegt hij iets dat klopt als een bus en toch niet waar is. Je wilt weten hoe vaak. Door AI hallucinaties te meten krijg je dat getal, als je het meet op een manier die bij jouw situatie past. Zo pak je dat aan.

Wat is het hallucinatiepercentage van een AI?

Het hallucinatiepercentage is het deel van de antwoorden waarin de AI iets onjuists of ongefundeerds brengt alsof het waar is. Je meet het op een vaste set testvragen. Staat er in 6 van de 100 antwoorden een verzonnen feit, dan is je percentage op die set 6%. Dat getal zegt alleen iets samen met de vragen erachter. Makkelijke vragen geven een laag percentage, moeilijke een hoog. Bewaar de testset dus altijd naast de score. Onderzoekers gebruiken verschillende woorden voor hetzelfde probleem. Het Amerikaanse normeninstituut NIST spreekt van confabulatie in zijn overzicht van risico’s van generatieve AI. OWASP noemt het misinformatie in zijn top tien van risico’s voor toepassingen op taalmodellen. Waarom het gebeurt, lees je in onze Engelstalige uitleg over AI-hallucinaties.

Waarom is de score op een ranglijst niet jouw score?

Openbare ranglijsten meten een model op één taak die iemand anders heeft gekozen. De bekende ranglijst van Vectara laat modellen bijvoorbeeld korte documenten samenvatten. Daarna kijkt hij of de samenvatting feiten toevoegt die niet in de tekst staan. Dat is handig als je een model kiest. Het zegt niet hoe je eigen assistent zich gedraagt.

Je assistent werkt met jouw systeemprompt, jouw documenten en de vragen van jouw klanten. Een model dat goed scoort op samenvattingen, kan toch een retourregel verzinnen die niet op je helppagina’s staat. Hij kan ook twee van je producten door elkaar halen of een prijs gokken. Andersom kan een bescheiden model met goede documenten en strakke instructies beter presteren dan de ranglijst doet vermoeden. Je weet je eigen percentage alleen als je het op je eigen vragen meet.

Hoe meet je je eigen hallucinatiepercentage?

Je meet het met een vaste testset die je steeds opnieuw draait. Het opzetten kost een dag. Daarna herhaal je het makkelijk.

  1. Verzamel echte vragen. Neem 50 tot 100 vragen die gebruikers echt stellen, met antwoorden waarvan je weet dat ze kloppen.
  2. Voeg vragen zonder antwoord toe. Vraag naar een product dat je niet verkoopt of een regel die niet bestaat. Het goede antwoord is “dat weet ik niet” of “dat bieden we niet aan”.
  3. Voeg lastige gevallen toe. Vragen aan de rand van je documenten, vragen met een onjuiste aanname en vragen die twee onderwerpen mengen.
  4. Deel elk antwoord in een van vier groepen in. Goed. Fout. Verzonnen: hij bedenkt een feit, een bron of een regel. Eerlijk niet weten: hij zegt dat hij het niet weet.
  5. Stel elke vraag meerdere keren. Een taalmodel geeft niet altijd hetzelfde antwoord. Eén ronde kan je dus op het verkeerde been zetten.

Je hallucinatiepercentage is het deel van de antwoorden in de groepen “fout” en “verzonnen”. Houd de groep “verzonnen” ook apart bij, want die schaadt het vertrouwen het meest. Laat iemand die het onderwerp kent de scores nakijken. Een AI kan helpen met sorteren, maar bij twijfelgevallen beslist een mens.

Welk percentage is goed genoeg?

Er is geen vast goed getal. Het hangt af van wat een fout antwoord kost. Een verkeerde openingstijd is vervelend. Een fout antwoord over een contract, een medicijn of een terugbetaling kan echt geld kosten of iemand schaden. Stel daarom per onderwerp een grens. Wees streng waar antwoorden gewicht hebben, en wat ruimer waar dat niet zo is.

Twee dingen zijn belangrijker dan het getal zelf. Het eerste zijn stellige foute antwoorden over serieuze onderwerpen. Die horen bijna nul te zijn. Het tweede is de trend. Ook goed ontworpen AI-systemen gaan na verloop van tijd afwijken. Een nieuwe modelversie, een aangepaste prompt of een nieuw document kan je percentage laten stijgen zonder dat iemand het merkt. Daarom meet je niet één keer, maar steeds opnieuw.

Er is ook een afweging. Duw je het percentage richting nul, dan gaat de assistent vaker weigeren en minder helpen. Houd het eerlijke niet weten naast de hallucinaties in de gaten, zodat je beide kanten ziet.

Wat betekent dit voor je team?

Begin klein. Maak deze week een set van 50 vragen, met tien vragen zonder antwoord. Draai hem vijf keer en noteer je beginpercentage. Draai daarna dezelfde set na elke wijziging en minstens één keer per maand. Bewaar de antwoorden, niet alleen de score. Daarin zien je team en je leverancier precies wat er beter moet.

Met de hand wordt dat zwaar zodra je elke week wilt testen. VeritasAI draait meer dan 90 automatische risicotests op onder meer hallucinaties, jailbreaks en datalekken. Het PRO-abonnement draait ze elke week. Bij elke ronde bewaar je de letterlijke antwoorden van je model, zodat je elke score zelf kunt controleren. In een demo laten we zien hoe dat werkt.

Weet elke week hoe vaak je AI iets verzint.

Demo aanvragenGratis starten

Veelgestelde vragen

Welk AI-model hallucineert het minst?

Dat verandert bij elke nieuwe versie, en het hangt af van de taak. Ranglijsten geven een ruw beeld als je een model kiest. Je eigen testset laat zien hoe het op jouw vragen presteert.

Kun je hallucinaties helemaal voorkomen?

Niet met de taalmodellen van nu. Je krijgt het percentage wel laag op de onderwerpen die tellen. Geef de AI goede documenten, duidelijke grenzen en toestemming om te zeggen dat hij het niet weet. En blijf meten.

Stopt RAG hallucinaties?

Bij RAG zoekt de AI eerst in je eigen documenten voordat hij antwoordt. Dat helpt veel, maar het stopt hallucinaties niet. De AI kan een document nog steeds verkeerd lezen of gaten opvullen met een gok.

Hoeveel testvragen heb je nodig?

Vijftig tot honderd is een goed begin voor één assistent. Voeg een vraag toe zodra er in de praktijk een fout opduikt. Zo groeit de set mee met wat echt misgaat.

Scroll naar boven