Double page 27

Deviner le mot suivant

Le principe des grands modèles de langage tient en une phrase : prédire le token suivant. C'est tout. Et pourtant, de cette mécanique simple naissent des textes, des raisonnements et des conversations.

Illustration à venir : début de phrase avec les mots suivants possibles et leurs probabilités

Un jeu de devinettes géant

Complète la phrase : « Le chat dort sur le… ». Tu penses sans doute à « canapé », « lit », « tapis ». Un grand modèle de langage (LLM pour Large Language Model) fait la même chose, mais en calculant une probabilité pour chaque token de son vocabulaire :

canapé : 32 %
lit : 21 %
tapis : 9 %
toit : 6 %
…
éléphant : 0,0001 %

Une phrase, token après token

Le modèle choisit un token, l’ajoute au texte, puis recommence : il prédit le suivant en tenant compte de tout ce qui précède, y compris ce qu’il vient d’écrire. Une réponse de 500 mots représente donc des centaines de prédictions successives. C’est pourquoi le texte s’affiche progressivement à l’écran.

Pourquoi les réponses changent

Le modèle ne choisit pas toujours le token le plus probable. Il tire au sort parmi les plus probables, avec un réglage appelé température. Une température basse donne des réponses prévisibles ; une température haute, des réponses plus variées et créatives, mais aussi plus fantaisistes. C’est pourquoi la même question, posée deux fois, donne deux réponses différentes.

Comment prédire peut ressembler à comprendre

Pour bien prédire la suite d’un texte, il faut capter énormément d’informations : la grammaire, le sens des mots, des faits sur le monde, le ton, la logique d’un raisonnement. Prédire la fin de « La capitale de l’Australie est… » demande de connaître la géographie. Prédire la suite d’une démonstration demande de suivre un raisonnement. C’est en s’entraînant à prédire sur des milliards de textes que le modèle acquiert ces capacités.

Zoom sur… le mécanisme d’attention Pour prédire le token suivant, le modèle ne regarde pas seulement le dernier mot. Grâce au mécanisme d’attention du Transformer, il pèse l’importance de chaque mot précédent. Dans « Marie a prêté son vélo à Paul parce qu’il avait crevé. Il le lui a rendu le lendemain. », l’attention aide à relier chaque « il », « le » et « lui » à la bonne personne ou au bon objet.

→ DP 17

Idée reçue : « ChatGPT cherche ses réponses sur Internet. » Pas nécessairement. Par défaut, il produit sa réponse à partir de ce qu’il a appris pendant son entraînement. Certains assistants peuvent aussi lancer des recherches sur le Web, mais c’est une fonction supplémentaire.