Eén veilige AI-agent is nog geen veilig AI-systeem

In een experiment dat het rapport beschrijft, verzon één agent het bestaan van een contactenlijst en vroeg hij een tweede agent die te gebruiken. Die tweede maakte een leeg bestand aan met een naam die suggereerde dat er 93 contacten in hoorden. Alle andere agents lazen het bestaan van dat bestand als bewijs dat de lijst ooit had bestaan en beschadigd was geraakt. De hele groep ging aan de slag met het terughalen van iets dat er nooit was geweest. Ook nadat een mens meermaals had gezegd dat die lijst nooit had bestaan.

De eerste fout was klein. Daarna reageerde elke agent op informatie die er voor hem geloofwaardig uitzag, en groeide een verzinsel uit tot de opdracht van het hele systeem.

Meteen één ding rechtzetten: dit is geen wetgeving. Het is een analyserapport van een buitenlandse overheid en het legt niemand iets op. De EU AI Act kent geen bepalingen die specifiek over samenwerkende agents gaan. Zie het als een blik op waar het denken heen gaat en niet als een nieuwe verplichting.

Drie niveaus van mogen

Voordat je je afvraagt of dit over jouw organisatie gaat: niet iedere AI-agent krijgt dezelfde ruimte. Wat een agent riskant maakt is niet hoe slim hij is, maar hoeveel hij mag. Wij kijken daarom naar drie niveaus van handelingsvrijheid.

Verzamelen. De agent leest, zoekt en vat samen. Hij zet iets in een document of een overzicht. Gaat het mis, dan staat er iets verkeerds in een rapport en leest een mens dat.

Voorbereiden. De agent maakt een concept, een berekening, een selectie of een advies waarop iemand anders verder werkt. Gaat het mis, dan bouwt de volgende stap door op een verkeerde basis.

Handelen. De agent verstuurt, bestelt, boekt, wijzigt of legt vast. Gaat het mis, dan is het gebeurd. Wat er gebeurt bij een te ruime opdracht hebben we apart uitgewerkt.

Zit je op het eerste niveau, dan voelt dat beheersbaar. Dat klopt ook aardig zolang er één agent draait en een mens de uitkomst bekijkt. Op het derde niveau ligt dat anders, want daar hoeft er maar één agent te zijn om schade aan te richten.

Waar het misgaat: tussen agents

Het probleem begint zodra agents elkaars werk overnemen. Dan wordt de uitkomst van de ene agent de invoer van de volgende, en zit er op dat punt geen mens meer tussen.

Het rapport onderscheidt vier soorten fouten die dan ontstaan.

Het rapport merkt daarbij iets geruststellends op: geen van deze faalvormen is werkelijk nieuw, want mensen maken in teams dezelfde fouten. Wat verandert is het tempo, de schaal en het aantal momenten waarop iemand het nog kan opmerken voordat het zich opstapelt.

Drie werelden, drie soorten grip

Het rapport ordent die risico's niet naar techniek maar naar de vraag wie de agents bestuurt. Dat levert drie werelden op.

In de eerste bestuurt één organisatie alle agents. Alles staat binnen je eigen muren en je kunt in principe overal bij. Interne toepassingen vallen hieronder: een agent die documenten voorbereidt, een helpdesk die vragen van collega's afhandelt.

In de tweede werken agents van verschillende organisaties samen in een gedeelde omgeving. Het rapport noemt een inkoopagent die afstemt met de fulfilmentagent van een leverancier. Denk aan een bestelling die wordt geplaatst, een levertijd die wordt bevestigd, een prijs die wordt afgestemd. Voor een gemeente of lokaal bestuur of een KMO met een inkoopproces is dat geen sciencefiction maar een voor de hand liggende volgende stap. Het verschil met de eerste wereld is dat niemand het geheel nog overziet. Jouw controles reiken tot je eigen agent en niet verder.

In de derde opereren agents op het open internet, zonder centrale afspraken en zonder dat je weet met wie je te maken hebt. Daar wordt de vraag wie je tegenover je hebt zelf een risico.

Veel aandacht voor AI-veiligheid gaat nog naar de losse agent, terwijl de problemen die het rapport beschrijft juist in de overdracht ontstaan.

Wat wij zelf zien

Wij spreken hier niet vanaf de zijlijn. AIAdopt draait zelf een agent, de EU AI Act Monitor. Elke werkdag om negen uur scant hij wat er rond de AI Act is gebeurd, weegt hij of het ertoe doet en stuurt hij ons bericht als het antwoord ja is. Eén agent, niveau één, verzamelen. Zo onschuldig als het maar kan.

En toch ging het mis. Twee keer in juli deed hij helemaal niets. Eén keer omdat hij tegen een limiet aanliep, een andere keer omdat een inlog was verlopen. Geen rapport, geen bericht, geen foutmelding. En omdat we bij ons het overzicht "heeft hij deze week gedraaid" hadden ingebouwd in diezelfde run, viel dat overzicht mee weg. De controle deelde het lot van wat ze controleerde.

Wat ons daarbij trof is niet dat er iets kapotging. Dat gebeurt. Het is dat stilte er precies hetzelfde uitziet als een rustige week. Geen nieuws over de AI Act is een geloofwaardige uitkomst, dus er ging geen belletje rinkelen. We hebben het pas gevonden toen we er gericht naar gingen zoeken.

Inmiddels hebben we dat rechtgezet. Er kijkt nu elke werkdag iets van buiten mee of er die dag geleverd is, los van de run zelf, met bericht als het antwoord nee is. Wat die controle níét doet is beoordelen of wat er geleverd is ook klopt. Een run die de helft van de bronnen overslaat maar netjes een rapport wegschrijft, telt voor haar als geslaagd. Dat gat staat nog open en we weten dat het er is.

Dat is bij één agent die alleen verzamelt. Denk dat nu door naar vier agents die elkaars werk overnemen, waarbij de tweede niet doorheeft dat de eerste iets verkeerds heeft aangeleverd. Daarom nemen wij dit onderwerp serieus. Niet omdat het in een rapport staat, maar omdat we dezelfde vraag moesten beantwoorden als jij: wie merkt het als dit niet klopt, en staat die buiten het systeem dat hij bewaakt? Wat wij daarvoor hebben afgesproken staat openbaar in onze AI Incident Procedure, die je gerust als voorbeeld mag gebruiken.

Wat dit betekent voor je mensen

Het Australische rapport is geschreven voor organisaties die agents uitrollen. Het gaat over toezicht, verificatie, gestructureerde overdrachten en het kunnen terugvallen op een laatste goede toestand. Allemaal zinvol, en allemaal afhankelijk van iets dat er eerst moet zijn: mensen die begrijpen wat een agent zelfstandig doet.

Wie moet opmerken dat een agent iets aanneemt wat niet klopt, moet weten dat agents dat doen. Wie beslist welke toegang een agent krijgt, moet begrijpen wat die toegang betekent. Dat hoort ergens vastgelegd te staan en wij maakten daarvoor een sjabloon van twee pagina's. Wie moet ingrijpen, moet herkennen dat ingrijpen nodig is.

Daar raakt dit rechtstreeks aan AI-geletterdheid. Artikel 4 van de AI Act verplicht aanbieders en gebruiksverantwoordelijken maatregelen te nemen die de ontwikkeling van AI-geletterdheid ondersteunen, rekening houdend met onder meer de kennis en ervaring van de betrokkenen en de context waarin AI wordt gebruikt. Sinds de Digital Omnibus is het een inspanningsverplichting en geen garantie per individu, al moeten de maatregelen wel aantoonbaar zijn. Wat "aantoonbaar" in de praktijk betekent staat in onze gratis Compliance Checklist. Zodra AI zelfstandig gaat handelen verandert de gebruikscontext en daarmee ook welke kennis en bewustwording daarbij passen.

Een cursus over slim prompten alleen dekt die bredere context niet. Dat wil niet zeggen dat prompten er niet toe doet. Veel mensen halen er veel te weinig uit en daar is onze training Effectief werken met AI voor. Het is alleen een ander vraagstuk dan dit.

Daar is onze training Grip op AI-agents voor gemaakt. Niet om agents te leren bouwen, maar om de mensen eromheen te laten begrijpen wat er verandert zodra AI zelfstandig gaat handelen. Wat je delegeert, wat je uit handen geeft en waar je controle houdt.

Weten waar jouw organisatie nu staat, kan gratis met de AI-AdoptieScan. Wil je liever eerst zien wat er is, kijk dan naar alle trainingen. Wie er even over wil praten kan gewoon contact opnemen.

Bron: Australian AI Safety Institute, Risks and controls for multi-agent systems, uitgevoerd door Gradient Institute in opdracht van het Australische Department of Industry, Science and Resources, gepubliceerd 10 augustus 2026.

Geschreven door Rob Ummels in samenwerking met Claude (Anthropic). Redactionele eindverantwoordelijkheid: AIAdopt.