Double page 32
L'essentiel de la partie II
Du texte à la réponse : le parcours d’une question
- Tu écris ta question.
- Découpage : le texte est découpé en tokens, chacun transformé en numéro.
- Représentation : chaque token devient un vecteur, une liste de nombres qui capture son sens.
- Calcul : les vecteurs traversent des dizaines de couches du réseau ; le mécanisme d’attention relie les mots entre eux.
- Prédiction : le modèle calcule la probabilité de chaque token possible et en choisit un.
- Répétition : le token est ajouté au texte et le modèle recommence, jusqu’à la fin de la réponse.
Les cinq points à retenir
- Les IA modernes apprennent à partir d’exemples au lieu de suivre des règles écrites à la main.
- Un réseau de neurones est un ensemble de calculs organisé en couches, dont les milliards de réglages sont ajustés pendant l’entraînement.
- Pour une machine, images et mots sont des nombres : des pixels, des tokens, des vecteurs.
- Un modèle de langage prédit la suite la plus plausible d’un texte : c’est sa force, et la source de ses hallucinations.
- L’IA est puissante mais inégale : brillante dans certaines tâches, maladroite dans d’autres qui nous semblent simples, et toujours dépendante de ses données.