Double page 25

Quand les mots deviennent des nombres

Un ordinateur ne connaît que les nombres. Pour qu'une IA traite du langage, il faut donc transformer chaque mot en nombres. L'astuce géniale : choisir ces nombres de façon à capturer le sens des mots.

Une carte des mots

Imagine une immense carte sur laquelle chaque mot aurait une position. Les mots de sens proche seraient voisins : « chat » près de « chien », « Paris » près de « Lyon », « courir » près de « marcher ». C’est exactement ce que font les IA : elles représentent chaque mot par une liste de nombres, ses coordonnées dans un espace. On appelle ces listes des vecteurs, ou plongements (embeddings en anglais).

Un espace à des centaines de dimensions

Une carte ordinaire a deux dimensions : la longitude et la latitude. L’espace des mots en compte des centaines, voire des milliers. Chaque dimension capture, de façon souvent difficile à interpréter, une nuance de sens : masculin ou féminin, vivant ou inanimé, singulier ou pluriel, positif ou négatif…

roi − homme + femme = reine

En 2013, une équipe de Google dirigée par Tomas Mikolov fait une découverte spectaculaire avec un modèle appelé word2vec. En faisant des calculs sur ces vecteurs, on obtient des résultats qui ont du sens. Si l’on prend le vecteur de « roi », qu’on lui retire celui de « homme » et qu’on ajoute celui de « femme », on tombe tout près du vecteur de « reine ».

De même, « Paris − France + Italie » donne approximativement « Rome ».

Comment la machine apprend-elle ces positions ?

Elle part d’une idée formulée par des linguistes dans les années 1950 : un mot se définit par les mots qui l’entourent. En lisant des milliards de phrases, l’IA remarque que « chat » et « chien » apparaissent dans des contextes semblables (« nourrir le… », « le… dort sur le canapé »). Elle les place donc près l’un de l’autre.

Le savais-tu ? Ces représentations reproduisent aussi les préjugés présents dans les textes. Des chercheurs ont montré que certains modèles associaient plus volontiers « homme » à « ingénieur » et « femme » à « infirmière ». C’est l’une des origines des biais de l’IA.

→ DP 51