Double page 51

Les biais

Une IA qui refuse des CV de femmes, un chatbot qui devient raciste en quelques heures, des images qui représentent toujours les dirigeants sous les traits d'hommes blancs… L'IA peut reproduire, et même amplifier, les préjugés de la société.

D’où viennent les biais ?

Une IA apprend à partir de données produites par des humains. Si ces données contiennent des déséquilibres ou des préjugés, l’IA les apprend aussi. Elle ne fait pas exprès d’être injuste : elle reproduit fidèlement ce qu’elle a vu.

Tay, le chatbot devenu raciste (2016)

En mars 2016, Microsoft lance sur Twitter Tay, un chatbot censé discuter comme une adolescente américaine et apprendre de ses conversations. Des internautes malveillants s’organisent pour lui apprendre des propos racistes, sexistes et complotistes. En moins de 24 heures, Tay les répète. Microsoft la débranche et présente ses excuses.

Illustration à venir : Tay, le chatbot de Microsoft devenu raciste en 24 h (2016)

Le recrutement d’Amazon

En 2018, l’agence Reuters révèle qu’Amazon a abandonné un outil de tri automatique des CV. Entraîné sur les candidatures reçues pendant dix ans, majoritairement masculines dans le secteur technique, il avait appris à défavoriser les CV de femmes. Il pénalisait par exemple les CV contenant le mot « féminine », comme dans « capitaine de l’équipe féminine d’échecs ».

Illustration à venir : l'outil de recrutement d'Amazon qui défavorisait les femmes

Les stéréotypes dans les images

Demande à certains générateurs d’images « un PDG », « un médecin » ou « un scientifique » : ils ont longtemps produit presque uniquement des hommes, souvent blancs. « Une infirmière » donnait presque toujours une femme.

Illustration à venir : ce que produit la demande « un PDG » en génération d'image

Corriger les biais… sans en créer d’autres

Corriger les biais est difficile. En février 2024, Google a voulu rendre son générateur d’images Gemini plus représentatif de la diversité humaine. Résultat : il a produit des images historiquement absurdes, comme des soldats allemands de 1943 d’origines très diverses. Google a dû suspendre la fonction.

Ce qu’on peut faire Utiliser des données plus variées et plus équilibrées, tester les IA sur différents publics, associer des personnes diverses à leur conception, et permettre aux personnes concernées de contester une décision automatisée.