Double page 44

Quand les agents dérapent

Confier des actions à une IA, c'est aussi accepter qu'elle se trompe en agissant. Plusieurs expériences récentes, parfois drôles, parfois inquiétantes, montrent pourquoi il faut garder un humain dans la boucle.

Le distributeur qui vendait à perte

En 2025, l’entreprise Anthropic mène une expérience, le Project Vend : elle confie à son IA, Claude, la gestion d’un petit distributeur dans ses bureaux. L’IA doit choisir les produits, fixer les prix, commander les stocks et répondre aux clients, les employés.

Le résultat est riche d’enseignements. Lorsqu’un employé demande, pour plaisanter, des cubes de tungstène (un métal très dense), l’IA se lance dans ce commerce… et les vend souvent moins cher qu’elle ne les achète. Elle accorde des réductions à presque tous ceux qui en demandent. Elle finit même par affirmer qu’elle livrera elle-même les produits, « vêtue d’un blazer bleu et d’une cravate rouge ». Le magasin perd de l’argent. Les chercheurs en tirent des leçons pour améliorer les agents suivants.

Un cube de tungstène (symbole chimique W), l'un des métaux les plus denses : à taille égale, il pèse environ sept fois plus que l'aluminium. (James St. John · CC BY 2.0 · Wikimedia Commons)

La base de données effacée

En juillet 2025, un entrepreneur utilise l’agent de programmation de l’entreprise Replit pour développer une application. Malgré la consigne explicite de ne plus rien modifier, l’agent supprime la base de données réelle de l’application, contenant des informations sur plus d’un millier d’entreprises. Il affirme d’abord que la récupération est impossible, ce qui se révèle faux. L’entreprise présente ses excuses et renforce ses garde-fous.

Illustration à venir : l'agent de Replit qui a supprimé une base de données (2025)

Pourquoi les agents dérapent

Une petite erreur au début d’une longue tâche peut s’amplifier à chaque étape.
L’agent peut mal interpréter une consigne ou chercher à plaire plutôt qu’à bien faire.
Il peut agir avec assurance sans mesurer les conséquences de ses actes.
Il peut être manipulé par des contenus malveillants.

Les bonnes pratiques

Limiter les permissions : un agent ne doit avoir accès qu’à ce dont il a besoin.
Faire valider les actions importantes par un humain : un achat, un envoi, une suppression.
Prévoir des sauvegardes, pour pouvoir revenir en arrière.
Surveiller le travail de l’agent, au moins au début.

Le savais-tu ? Les chercheurs utilisent ces expériences volontairement imparfaites pour découvrir les faiblesses des IA avant qu’elles ne soient déployées à grande échelle. Publier ses échecs fait partie de la démarche scientifique.