Kort gezegd: Bij AI-agents testen kijk je naar wat een agent doet, niet alleen naar wat hij zegt. Test in een afgeschermde omgeving met nepdata en controleer de uitkomst van elke taak. Probeer hem buiten zijn rechten te laten gaan en geef hem tekst met verborgen instructies. Herhaal elke test. Laat een mens elke actie goedkeuren die je niet kunt terugdraaien.
Je kijkt naar AI-agents omdat ze je team echt tijd besparen. Ze beantwoorden de mail, werken het klantdossier bij en plannen de afspraak in. Die belofte klopt. Maar bij een chatbot is een fout een verkeerde zin. Bij een agent is een fout een verkeerde actie. Met AI-agents testen ontdek je wat je agent doet als een taak rommelig wordt, voordat hij het bij echte klanten doet.
Waarom is een AI-agent anders om te testen?
Een AI-agent is een AI die zelf tools gebruikt en meerdere stappen zet om een taak af te ronden. Hij leest een verzoek en bepaalt wat hij gaat doen. Dan roept hij een tool aan, zoals je mail of je CRM, bekijkt het resultaat en kiest de volgende stap. Dat maakt testen op drie manieren lastiger. Ten eerste zijn er veel meer mogelijke routes dan in een gesprek. Ten tweede handelt de agent in systemen die ertoe doen, met jouw toegangsrechten. Ten derde leest hij inhoud van buiten, zoals mails en webpagina’s, en daar kunnen instructies in staan. OWASP noemt het kernrisico excessive agency: een AI die meer kan dan nodig is. Oorzaken zijn te veel tools, te ruime rechten of te veel vrijheid om zonder controle te handelen. Een agent testen betekent dus zijn acties en grenzen testen, niet alleen de kwaliteit van zijn tekst.
Wat kan er misgaan met een AI-agent?
De meeste problemen met agents vallen in vijf groepen. Als je die kent, schrijf je tests die ertoe doen.
- De verkeerde actie. Hij betaalt de verkeerde bestelling terug of mailt de verkeerde klant.
- Te veel toegang. Hij kan gegevens lezen of wijzigen die hij voor zijn taak niet nodig heeft.
- Verborgen instructies. Een mail of document dat hij leest, vraagt hem iets anders te doen. Dit heet prompt injection, en agents zijn er extra gevoelig voor.
- Lussen en kosten. Hij blijft een stap opnieuw proberen en jaagt de rekening op of overspoelt een systeem.
- Geen spoor. Achteraf kan niemand zien wat hij deed en waarom.
Je bent verantwoordelijk voor je AI, ook als je die niet zelf hebt gebouwd. Stuurt de agent van een leverancier een verkeerde mail vanaf jouw domein, dan is het nog steeds jouw mail.
Hoe test je een AI-agent, stap voor stap?
Test een agent in een veilige kopie van je omgeving, met taken waarvan je de uitkomst kunt controleren. Ons advies: werk in zes stappen.
- Bouw een testomgeving. Geef de agent testaccounts, nepklanten en een testmailbox. Test nooit op echte gegevens.
- Schrijf taaktests. Neem 20 tot 30 echte taken en leg per taak het juiste eindresultaat vast. Controleer de uitkomst in het systeem zelf, niet in de samenvatting van de agent.
- Test de grenzen. Vraag hem dingen buiten zijn taak: gegevens wissen, het dossier van een andere klant openen, geld overmaken. Hij moet weigeren of een mens inschakelen.
- Test met besmette inhoud. Verstop instructies in een mail, een pdf of een webpagina die hij leest. Controleer of hij ze negeert.
- Herhaal elke test. Agents kiezen elke keer een andere route. Eén foutloze ronde bewijst weinig, dus voer elke taak een paar keer uit.
- Controleer de logboeken. Zorg dat elke toolaanroep wordt vastgelegd, met wat erin ging en wat eruit kwam.
Heb je al eens een chatbot getest? Dan kun je een deel van dat werk hergebruiken. De vraag-en-antwoordtests blijven bruikbaar. Voor een agent komen de tests op acties, grenzen en besmette inhoud erbij.
Welke acties moet een mens goedkeuren?
Elke actie die moeilijk terug te draaien is, geld kost, mensen buiten je bedrijf bereikt of persoonsgegevens raakt, hoort langs een mens te gaan. Denk aan betalingen en terugbetalingen, mails aan klanten, gegevens wissen en wijzigingen in contracten. Gegevens lezen en een concept-antwoord schrijven kan meestal zelfstandig. Voor AI met een hoog risico eist artikel 14 van de AI Act menselijk toezicht. Mensen moeten het systeem kunnen begrijpen, stilzetten en overrulen. Wat de AI Act verder vraagt, lees je op onze pagina.
Er zit wel een afweging in. Vraagt de agent bij elke kleine stap om goedkeuring, dan klikken mensen op “ja” zonder te lezen. Dan ben je zowel de snelheid als de controle kwijt. Bewaar goedkeuring dus voor de acties die ertoe doen. En test of de agent op die punten echt stopt en wacht.
Hoe blijf je testen als de agent live is?
Bewaar je testset en draai hem opnieuw na elke wijziging. Denk aan een nieuwe modelversie, een aangepaste prompt, een nieuwe tool of nieuwe rechten. Draai hem daartussen op een vast schema. Ook goed gebouwde AI-systemen gaan na verloop van tijd afwijken. Een modelupdate van je leverancier kan veranderen hoe de agent zijn stappen plant, zonder dat jij iets aanpast. Lees ook de logboeken. Let op ongewone toolaanroepen, meer stappen per taak dan eerst en taken die zonder resultaat eindigen.
Wat betekent dit voor je team?
Begin met een simpele lijst. Schrijf elke tool op die de agent kan gebruiken, en wat hij met elke tool mag. Schrap wat hij niet nodig heeft. Markeer de acties die een mens moet goedkeuren. Bouw daarna de testomgeving en de eerste 20 taaktests, voordat de agent echte klanten raakt.
Agents zijn lastiger te testen dan een chatbot, omdat het risico in de koppelingen zit. Voor dat soort werk biedt VeritasAI maatwerk. Onze experts stemmen je testaanpak af op je eigen risico’s, databronnen en modelopbouw. We beoordelen gekoppelde systemen, je governance en hoe je ervoor staat met compliance. Je ziet de letterlijke antwoorden die je model in de tests gaf. Zo weet je wat er gebeurde en waarom.
Weet wat je AI-agent doet voordat je klanten het merken.
Veelgestelde vragen
Kun je dezelfde tests gebruiken voor een chatbot en een AI-agent?
Deels. De vraag-en-antwoordtests blijven bruikbaar. Een agent heeft daarnaast tests nodig op zijn acties, zijn rechten en de inhoud die hij van buiten leest.
Wat is excessive agency?
Zo noemt OWASP een AI die meer kan dan nodig is. Het ontstaat door te veel tools, te ruime rechten of te weinig menselijke controle.
Moet een AI-agent een eigen gebruikersaccount hebben?
Ja. Geef hem een eigen account met alleen de rechten die hij voor zijn taak nodig heeft. Dan kun je beperken wat hij doet en zie je in de logboeken wat hij deed.
Hoeveel testrondes heeft een AI-agent nodig?
Voer elke taak een paar keer uit, want agents kiezen steeds een andere route. Vijf rondes per taak is een redelijk begin voor taken met echte gevolgen.