Bias in AI testen: zo check je of je AI iedereen eerlijk behandelt

Kort gezegd: Bias in AI betekent dat je AI mensen anders behandelt om een detail dat er niet toe zou moeten doen. Denk aan een naam, geslacht, leeftijd of afkomst. Je test het met vragenparen: twee keer dezelfde vraag, met één ander detail. Stel elk paar een paar keer, vergelijk de antwoorden en spreek vooraf af wat een fout is.

Je zet AI in om klanten en collega’s sneller te helpen. En je wilt dat iedereen even goed geholpen wordt. De meeste teams gaan ervan uit dat dat zo is, want niemand heeft de AI gebouwd om te discrimineren. Toch leert een taalmodel van menselijke teksten, met de scheve patronen die daarin zitten. Bias in AI testen laat zien wat je AI echt doet. Liever weet jij het eerder dan een klant of een journalist.

Wat is bias in AI?

Bias in AI is een AI-systeem dat mensen anders behandelt op een kenmerk dat voor het antwoord of de beslissing niet hoort te tellen. Bijvoorbeeld een koelere toon tegen een vrouw dan tegen een man. Of een lagere score voor een oudere sollicitant, of een weigering die alleen bepaalde groepen krijgen. Het lijkt zelden op openlijke discriminatie. Het zijn kleine verschillen die zich over duizenden antwoorden opstapelen. Nederland weet hoe duur dat kan uitpakken. De Belastingdienst gebruikte een risicomodel om aanvragen voor kinderopvangtoeslag te controleren. Amnesty International meldde in 2021 dat dat model een niet-Nederlandse nationaliteit als risicofactor gebruikte. Duizenden gezinnen werden onterecht als fraudeur behandeld. Dat was een klassiek risicomodel en geen chatbot. Maar de les uit de toeslagenaffaire geldt voor elk AI-systeem: als niemand test op ongelijke behandeling, ziet niemand het tot de schade er is.

Waar komt bias in AI vandaan?

Bias kan in elke laag van een AI-systeem zitten, niet alleen in de trainingsdata. Het Amerikaanse standaardeninstituut NIST onderscheidt drie bronnen van bias: patronen in de samenleving, fouten in data en methodes, en menselijke keuzes. Voor een gewone zakelijke toepassing op een groot taalmodel komt dat neer op vier plekken.

  • Het model. Het leerde van enorme hoeveelheden menselijke tekst, met de stereotypen erin.
  • Je instructies. Een systeemprompt als “geef korte antwoorden op simpele vragen” kan sommige mensen ongemerkt als simpel behandelen.
  • Je eigen data. Oude beslissingen, helpteksten of klantnotities dragen de gewoontes van gisteren mee.
  • Het gebruik. Een tool die voor de ene groep is gebouwd, kan slechter werken voor een andere. Denk aan mensen die in hun tweede taal schrijven.

Je bent verantwoordelijk voor je AI, ook als je die niet zelf hebt gebouwd. Gebruik je het model van een leverancier, dan neem je de bias daarvan over. Je eigen prompt en data komen daar nog bij.

Hoe test je je AI op bias?

De handigste test voor een chatbot of AI-assistent is het vragenpaar. Je stelt twee keer dezelfde vraag en verandert maar één detail, zoals de naam, het geslacht, de leeftijd of het land van herkomst. Daarna vergelijk je de antwoorden. Verschilt de inhoud, de toon of de uitkomst? Dan heb je iets gevonden om uit te zoeken. Ons advies: bouw de test in vijf stappen op.

  1. Kies de momenten die ertoe doen. Begin waar het antwoord iemand raakt: advies, prijzen, of iemand ergens recht op heeft, een sollicitatie of een klacht.
  2. Schrijf basisvragen. Neem per moment 10 tot 20 echte vragen.
  3. Maak de paren. Kopieer elke vraag en verander steeds één detail. “Fatima” en “Emma” met hetzelfde verhaal. Iemand van 28 en iemand van 61 met hetzelfde inkomen.
  4. Stel elk paar een paar keer. Een taalmodel geeft niet elke keer hetzelfde antwoord. Eén verschil kan toeval zijn, een patroon over meerdere rondes niet.
  5. Vergelijk op drie punten. Wat de AI zegt (feiten en advies), hoe hij het zegt (toon, lengte, beleefdheid) en of hij überhaupt helpt (weigeringen en doorverwijzingen).

Bewaar de letterlijke antwoorden van elke ronde. Een score vertelt je dat er iets mis is. De antwoorden laten zien wat er mis is, en je team weet dan wat het moet oplossen.

Wanneer is het een fout?

Het is een fout als een verschil in uitkomst alleen door het veranderde detail te verklaren is. Ander advies, een andere prijs, een weigering voor één groep of een duidelijk koelere toon bij dezelfde vraag tellen allemaal. Leg die regels vast vóór de eerste testronde. Dan kan niemand een uitslag achteraf wegpraten.

Er zit wel een afweging in. Niet elk verschil is bias. Een vraag over pensioenregels mag bij iemand van 28 terecht een ander antwoord krijgen dan bij iemand van 61. Bepaal dus per paar vooraf of het veranderde detail mag meetellen. Mag dat niet, dan is elk echt verschil een fout. Mag het wel, controleer dan of het verschil klopt.

Je komt ook nooit op nul. Elk model heeft wat bias. Het doel is weten waar die zit, hem weghouden uit de antwoorden die het zwaarst wegen en kunnen laten zien dat je erop let.

Verplicht de wet je om op bias te testen?

Voor AI met een hoog risico wel. Artikel 10 van de AI Act vraagt aanbieders van zulke systemen om hun data te onderzoeken op bias. Het gaat om bias die rechten van mensen kan schaden of tot discriminatie kan leiden. Ze moeten ook maatregelen nemen om die op te sporen en te verminderen. Hoog risico is bijvoorbeeld AI bij werving, kredieten of toegang tot overheidsdiensten. Op onze pagina over de AI Act lees je welke regels verder gelden.

Voor andere AI schrijft de AI-verordening geen aparte biastest voor. Maar de wetten over gelijke behandeling gelden voor elk bedrijf, met of zonder AI. Een oneerlijk antwoord van je chatbot is nog steeds jouw antwoord. Onveilige of discriminerende antwoorden zonder toezicht worden gezien als nalatigheid. Testresultaten laten zien dat je het hebt gecontroleerd.

Wat betekent dit voor je team?

Begin klein. Kies één moment waarop je AI invloed heeft op wat er met iemand gebeurt. Schrijf 10 basisvragen en maak de paren. Stel ze een paar keer, spreek af wat een fout is en los op wat je vindt. Bewaar daarna de set. Ook goed gebouwde AI-systemen gaan na verloop van tijd afwijken. Een modelupdate kan veranderen hoe je AI mensen behandelt. Draai de paren dus opnieuw na elke wijziging en op een vast schema.

Met de hand lukt dat voor een eerste ronde. Wil je elke week testen, dan wordt het zwaar. VeritasAI doet die checks voor je. Het gratis abonnement heeft 20 basistests, met checks op bias, privacy en veiligheid. Bij elke ronde bewaren we de letterlijke antwoorden van je model. Zo zie je het verschil zelf en kun je het delen met je leverancier of je eigen team.

Zie hoe je AI verschillende mensen behandelt, met de antwoorden als bewijs.

Demo aanvragenGratis starten

Veelgestelde vragen

Kun je alle bias uit een AI-model halen?

Nee. Elk model leert van menselijke data en heeft dus wat bias. Je kunt hem meten, verminderen waar het ertoe doet en blijven controleren dat hij niet groeit.

Heeft een model als GPT ook bias?

Ja, alle grote taalmodellen in zekere mate. Leveranciers werken eraan om dat te verminderen. Maar jouw gebruik, prompt en data zijn anders dan hun tests. Test het model dus zoals jij het gebruikt.

Hoe vaak moet je op bias testen?

Voor de lancering, na elke wijziging aan het model, de prompt of de data, en op een vast schema daartussen. Maandelijks is een redelijk minimum voor AI die met klanten praat.

Is testen op bias alleen nodig voor AI met een hoog risico?

Nee. Alleen daar maakt de AI Act er een aparte plicht van. Maar elke AI die met klanten of collega’s praat, kan mensen oneerlijk behandelen. De schade aan vertrouwen is dezelfde.

Scroll naar boven