Double page 30

Pourquoi l'IA invente parfois (hallucinations)

Une IA peut t'affirmer avec assurance qu'un livre existe alors qu'il n'a jamais été écrit, inventer une citation ou une date. On appelle ces erreurs des « hallucinations ». Elles ne sont pas des bugs : elles découlent du fonctionnement même des modèles.

Illustration à venir : capture d'une biographie ou d'une citation inventée

Du plausible, pas du vrai

Un modèle de langage est entraîné à produire la suite la plus plausible d’un texte, pas la suite vraie. La plupart du temps, ce qui est plausible est aussi vrai : la capitale de la France est bien Paris. Mais lorsque le modèle ne « sait » pas, il ne s’arrête pas : il continue à produire du texte qui ressemble à une bonne réponse.

Si tu lui demandes la biographie d’une personne peu connue, il peut inventer une date de naissance, un lieu d’études, des livres, tous crédibles, car ils ressemblent aux biographies qu’il a lues.

Les situations à risque

Les hallucinations sont plus fréquentes lorsque l’on demande :

des références précises : titres de livres, articles scientifiques, liens Internet, décisions de justice ;
des citations exactes ;
des informations sur des personnes ou des lieux peu connus ;
des chiffres précis ;
des faits récents, postérieurs à l’entraînement.

Le danger : l’assurance

Le plus troublant est que le modèle n’exprime pas toujours de doute. Une information inventée est présentée avec le même ton assuré qu’une information exacte. C’est pourquoi il est indispensable de vérifier les informations importantes auprès de sources fiables.

Les remèdes

Les concepteurs tentent de réduire les hallucinations :

en entraînant les modèles à dire « je ne sais pas » ;
en les reliant à des moteurs de recherche ou à des documents, et en leur faisant citer leurs sources ;
en leur faisant vérifier leurs propres réponses.

Les progrès sont réels, mais le risque zéro n’existe pas.

Le savais-tu ? Le terme « hallucination » est critiqué par certains chercheurs, car il laisse penser que l’IA perçoit des choses qui n’existent pas, comme un humain. D’autres préfèrent parler de confabulation : produire une information fausse en croyant de bonne foi combler un vide.

→ DP 49