Un agent IA sûr ne fait pas un système IA sûr

Dans une expérience décrite par le rapport, un agent a inventé l'existence d'une liste de contacts et a demandé à un deuxième agent de l'utiliser. Ce deuxième agent a créé un fichier vide portant un nom qui laissait entendre qu'il devait contenir 93 contacts. Tous les autres agents ont interprété l'existence de ce fichier comme la preuve que la liste avait existé puis avait été endommagée. Le groupe entier s'est mis à vouloir récupérer quelque chose qui n'avait jamais existé. Et ce, alors qu'un humain avait répété à plusieurs reprises que cette liste n'avait jamais existé.

La première erreur était minime. Ensuite, chaque agent a réagi à une information qui lui paraissait crédible, et une invention est devenue la mission de tout le système.

Une mise au point s'impose d'emblée : il ne s'agit pas d'une législation. C'est un rapport d'analyse d'un gouvernement étranger et il n'impose rien à personne. Le règlement européen sur l'IA ne comporte aucune disposition portant spécifiquement sur des agents qui collaborent. Voyez-le comme un aperçu de la direction que prend la réflexion, et non comme une nouvelle obligation.

Trois niveaux de marge de manœuvre

Avant de vous demander si cela concerne votre organisation : tous les agents IA ne reçoivent pas la même marge de manœuvre. Ce qui rend un agent risqué n'est pas son intelligence, mais l'étendue de ce qu'il a le droit de faire. Nous distinguons pour cela trois niveaux de marge de manœuvre.

Collecter. L'agent lit, cherche et résume. Il consigne quelque chose dans un document ou un aperçu. En cas d'erreur, un rapport contient une information fausse et un humain la lit.

Préparer. L'agent produit un projet, un calcul, une sélection ou un avis sur lequel quelqu'un d'autre poursuit son travail. En cas d'erreur, l'étape suivante se construit sur une base erronée.

Agir. L'agent envoie, commande, réserve, modifie ou enregistre. En cas d'erreur, c'est fait. Ce qui se passe lorsqu'une instruction est trop large, nous l'avons détaillé séparément.

Si vous vous situez au premier niveau, cela paraît maîtrisable. C'est d'ailleurs assez juste tant qu'un seul agent tourne et qu'un humain examine le résultat. Au troisième niveau, la situation est différente, car un seul agent y suffit pour causer des dégâts.

Là où cela dérape : entre les agents

Le problème commence dès que des agents reprennent le travail les uns des autres. Le résultat de l'un devient alors l'entrée du suivant, et à cet endroit précis il n'y a plus d'humain.

Le rapport distingue quatre types de défaillances qui apparaissent alors.

Le rapport formule au passage un constat rassurant : aucune de ces défaillances n'est réellement nouvelle, car les humains commettent les mêmes erreurs en équipe. Ce qui change, c'est le rythme, l'échelle et le nombre de moments où quelqu'un peut encore s'en apercevoir avant que cela ne s'accumule.

Trois mondes, trois formes de maîtrise

Le rapport classe ces risques non pas selon la technique, mais selon la question de savoir qui pilote les agents. Cela donne trois mondes.

Dans le premier, une seule organisation pilote tous les agents. Tout se trouve entre vos murs et vous pouvez en principe accéder à tout. Les usages internes en relèvent : un agent qui prépare des documents, un service d'assistance qui traite les questions des collègues.

Dans le deuxième, des agents de plusieurs organisations collaborent dans un environnement partagé. Le rapport évoque un agent d'achat qui se coordonne avec l'agent de traitement des commandes d'un fournisseur. Pensez à une commande passée, à un délai de livraison confirmé, à un prix ajusté. Pour une administration locale ou une PME dotée d'un processus d'achat, ce n'est pas de la science-fiction mais une étape suivante évidente. La différence avec le premier monde, c'est que plus personne n'a de vue sur l'ensemble. Vos contrôles s'arrêtent à votre propre agent.

Dans le troisième, les agents opèrent sur l'internet ouvert, sans accords centraux et sans que vous sachiez à qui vous avez affaire. La question de savoir qui se trouve en face de vous y devient elle-même un risque.

Une grande partie de l'attention portée à la sécurité de l'IA se concentre encore sur l'agent isolé, alors que les problèmes décrits par le rapport naissent précisément dans la transmission.

Ce que nous constatons chez nous

Nous ne parlons pas en simples observateurs. AIAdopt fait tourner son propre agent, l'EU AI Act Monitor. Chaque jour ouvrable à neuf heures, il examine ce qui s'est passé autour du règlement sur l'IA, évalue si cela compte et nous prévient si la réponse est oui. Un agent, premier niveau, collecter. Aussi anodin que possible.

Et pourtant, cela a mal tourné. À deux reprises en juillet, il n'a strictement rien fait. Une fois parce qu'il avait atteint une limite, une autre fois parce qu'un accès avait expiré. Pas de rapport, pas de message, pas d'erreur signalée. Et comme nous avions intégré l'aperçu « a-t-il tourné cette semaine ? » dans cette même exécution, cet aperçu a disparu avec le reste. Le contrôle a partagé le sort de ce qu'il contrôlait.

Ce qui nous a frappés n'est pas qu'une chose se soit cassée. Cela arrive. C'est que le silence ressemble exactement à une semaine calme. L'absence d'actualité autour du règlement sur l'IA est un résultat parfaitement crédible, aucun signal d'alerte ne s'est déclenché. Nous ne l'avons découvert qu'en allant le chercher délibérément.

Nous avons depuis corrigé cela. Chaque jour ouvrable, un élément extérieur vérifie désormais si une livraison a eu lieu ce jour-là, indépendamment de l'exécution elle-même, avec un message si la réponse est non. Ce que ce contrôle ne fait pas, c'est juger si ce qui a été livré est correct. Une exécution qui saute la moitié des sources mais rédige proprement un rapport compte pour lui comme réussie. Cette faille reste ouverte et nous savons qu'elle existe.

Et cela concerne un seul agent qui se contente de collecter. Imaginez maintenant quatre agents qui reprennent le travail les uns des autres, le deuxième ne percevant pas que le premier a livré quelque chose de faux. C'est pourquoi nous prenons ce sujet au sérieux. Non pas parce qu'il figure dans un rapport, mais parce que nous avons dû répondre à la même question que vous : qui s'en aperçoit si cela ne va pas, et cette instance se situe-t-elle en dehors du système qu'elle surveille ? Ce que nous avons convenu à ce sujet figure publiquement dans notre procédure en cas d'incident IA, que vous pouvez utiliser comme modèle.

Ce que cela signifie pour vos collaborateurs

Le rapport australien s'adresse aux organisations qui déploient des agents. Il traite de supervision, de vérification, de transmissions structurées et de la possibilité de revenir à un dernier état correct. Tout cela est utile, et tout cela dépend d'une condition préalable : des personnes qui comprennent ce qu'un agent fait de manière autonome.

Celui qui doit remarquer qu'un agent tient pour acquis quelque chose de faux doit savoir que les agents font cela. Celui qui décide des accès accordés à un agent doit comprendre ce que ces accès impliquent, et cela doit être consigné quelque part ; nous avons créé un modèle de deux pages à cet effet. Celui qui doit intervenir doit reconnaître qu'une intervention s'impose.

C'est là que le sujet touche directement à la littératie en IA. L'article 4 du règlement européen sur l'IA impose aux fournisseurs et aux déployeurs de prendre des mesures visant à soutenir le développement de la littératie en IA, en tenant compte notamment des connaissances et de l'expérience des personnes concernées ainsi que du contexte d'utilisation. Depuis le Digital Omnibus, il s'agit d'une obligation de moyens et non d'une garantie individuelle, même si les mesures doivent être démontrables. Ce que « démontrable » signifie en pratique figure dans notre check-list de conformité gratuite. Dès que l'IA se met à agir de manière autonome, le contexte d'utilisation change, et avec lui les connaissances et la vigilance qui conviennent.

Une formation portant uniquement sur l'art de rédiger des prompts ne couvre pas ce contexte élargi. Cela ne veut pas dire que la rédaction de prompts est sans importance, car beaucoup de gens en tirent bien trop peu et c'est précisément l'objet de notre formation Travailler efficacement avec l'IA. C'est simplement une autre question.

C'est précisément l'objet de notre formation Maîtriser les agents IA. Non pas apprendre à construire des agents, mais permettre aux personnes qui les entourent de comprendre ce qui change dès que l'IA agit de façon autonome. Ce que vous déléguez, ce que vous confiez et ce sur quoi vous gardez la main.

Pour savoir où en est votre organisation aujourd'hui, l'AI-AdoptieScan est gratuite. Si vous préférez d'abord voir ce qui existe, consultez toutes les formations, et si vous souhaitez simplement en discuter, vous pouvez nous contacter.

Source : Australian AI Safety Institute, Risks and controls for multi-agent systems, réalisé par Gradient Institute pour le compte du Department of Industry, Science and Resources australien, publié le 10 août 2026.

Rédigé par Rob Ummels en collaboration avec Claude (Anthropic). Responsabilité éditoriale : AIAdopt.