Double page 17
Du Transformer à ChatGPT
En 2017, huit chercheurs de Google publient un article au titre étrange : « Attention Is All You Need ». Ils y décrivent une nouvelle architecture, le Transformer. Cinq ans plus tard, elle donne naissance à ChatGPT.
Le Transformer (2017)
Jusqu’alors, les IA lisaient les phrases mot après mot, dans l’ordre, et avaient du mal à se souvenir du début d’un long texte. Le Transformer introduit un mécanisme appelé attention : pour comprendre chaque mot, le modèle regarde en même temps tous les autres mots du texte et repère ceux qui comptent le plus. Dans « Le chat n’a pas mangé sa pâtée parce qu’il était malade », l’attention aide le modèle à comprendre que « il » désigne le chat. Ce mécanisme permet aussi de faire travailler des milliers de processeurs en parallèle.
→ DP 27
La course à la taille
L’entreprise américaine OpenAI utilise le Transformer pour créer une série de modèles appelés GPT (Generative Pre-trained Transformer). À chaque génération, ils sont plus grands et entraînés sur plus de textes :
- GPT-1 (2018) : environ 117 millions de paramètres* ;
- GPT-2 (2019) : 1,5 milliard ;
- GPT-3 (2020) : 175 milliards.
Les chercheurs constatent qu’en augmentant la taille et les données, les modèles acquièrent des capacités nouvelles : résumer, traduire, écrire du code, sans avoir été spécifiquement entraînés pour cela.
30 novembre 2022 : ChatGPT
OpenAI met en ligne ChatGPT, une interface simple qui permet de discuter avec son modèle. Le succès est immédiat et sans précédent : environ 100 millions d’utilisateurs en deux mois. Il avait fallu plus de deux ans à Instagram et environ neuf mois à TikTok pour atteindre ce chiffre.
Une nouvelle ère
En quelques mois, les concurrents se multiplient : Claude (Anthropic), Gemini (Google), Llama (Meta), Mistral (une entreprise française), DeepSeek (Chine)… L’IA générative entre dans les écoles, les entreprises et les foyers, et soulève autant d’enthousiasme que d’inquiétudes.
Le savais-tu ? Le « T » de ChatGPT signifie « Transformer ». L’invention de Google a donc profité d’abord à un concurrent.