Double page 28

Comment on entraîne un grand modèle de langage

Créer un assistant comme ChatGPT, Claude ou Gemini demande des mois de travail, des milliers de processeurs et des quantités gigantesques de textes. L'entraînement se déroule en plusieurs grandes étapes.

Illustration à venir : schéma en trois étapes (lire Internet → apprendre à dialoguer → être corrigé par des humains)

Étape 1 : le pré-entraînement

Le modèle « lit » une immense quantité de textes : pages Web, livres, articles scientifiques, encyclopédies, code informatique… On parle de milliers de milliards de tokens. Un humain lisant jour et nuit mettrait des dizaines de milliers d’années pour en venir à bout.

Pendant cette lecture, le modèle s’entraîne à une seule tâche : prédire le token suivant. À chaque erreur, ses milliards de paramètres sont légèrement ajustés. Cette étape peut durer des semaines ou des mois, sur des milliers de cartes graphiques fonctionnant en parallèle.

À la fin, on obtient un modèle de base : il sait prolonger n’importe quel texte, mais il ne sait pas encore tenir une conversation. Si on lui écrit une question, il risque d’enchaîner avec d’autres questions, comme s’il complétait une liste !

Étape 2 : apprendre à être un assistant

On entraîne ensuite le modèle sur des milliers d’exemples de conversations rédigées par des humains : une question, puis une réponse utile, claire et polie. Le modèle apprend ainsi le « rôle » d’assistant. C’est l’affinage (fine-tuning).

Étape 3 : être corrigé par des humains

Des évaluateurs comparent plusieurs réponses du modèle à une même question et indiquent la meilleure. Le modèle est entraîné à produire davantage de réponses du type préféré. On appelle cela l’apprentissage par renforcement à partir de retours humains (RLHF). Cette étape sert aussi à lui apprendre à refuser les demandes dangereuses.

Les limites de l’entraînement

Le modèle ne connaît que ce qui figurait dans ses données. Il ignore les événements postérieurs à sa date de coupure.
Il reproduit les erreurs et les préjugés de ses textes d’entraînement.
Il ne « mémorise » pas ses conversations avec toi pour apprendre en continu, sauf fonctions de mémoire spécifiques.

Le savais-tu ? Une partie du travail d’étiquetage et d’évaluation est réalisée par des travailleurs du monde entier, souvent peu payés, au Kenya, aux Philippines ou à Madagascar. L’IA repose sur un travail humain largement invisible.