Double page 26
Les tokens : comment une IA découpe le texte
Avant de lire ta question, un assistant comme ChatGPT la découpe en petits morceaux appelés tokens. Ce découpage explique certaines erreurs étonnantes, comme l'incapacité à compter les lettres d'un mot.
Qu’est-ce qu’un token ?
Un token est un morceau de texte : parfois un mot entier, parfois une partie de mot, parfois un simple signe de ponctuation. Les mots courants forment souvent un seul token (« le », « maison »). Les mots rares ou longs sont découpés en plusieurs (« anticonstitutionnellement » peut donner « anti », « constitution », « nelle », « ment »).
Chaque token correspond à un numéro dans le vocabulaire du modèle, qui en compte généralement plusieurs dizaines de milliers. C’est cette suite de numéros que l’IA traite, et non les lettres.
Pourquoi découper ainsi ?
- Un vocabulaire de mots entiers serait gigantesque et ne contiendrait jamais tous les mots, noms propres ou fautes de frappe.
- Un découpage lettre par lettre rendrait les textes très longs et difficiles à traiter.
- Les tokens sont un compromis : le modèle peut lire n’importe quel texte avec un vocabulaire raisonnable.
Le mystère de « strawberry »
Pendant longtemps, quand on demandait aux assistants conversationnels « Combien y a-t-il de r dans le mot strawberry ? » (fraise, en anglais), beaucoup répondaient « deux ». La bonne réponse est trois.
L’explication : le modèle ne voit pas les lettres « s-t-r-a-w-b-e-r-r-y ». Il voit deux ou trois tokens, par exemple « str », « aw » et « berry », chacun réduit à un numéro. Compter les lettres revient pour lui à deviner l’orthographe d’un mot qu’il ne voit jamais lettre par lettre.
Les tokens, unité de mesure de l’IA
- La quantité de texte qu’un modèle peut prendre en compte en même temps, sa fenêtre de contexte, se mesure en tokens.
- Le prix des services d’IA se calcule souvent en tokens.
- En anglais, un token correspond en moyenne aux trois quarts d’un mot. Le français, moins représenté dans les données, est souvent découpé en un peu plus de tokens.
Le savais-tu ? Les modèles récents ont été entraînés à mieux gérer ce type de question : certains « réfléchissent » en épelant le mot avant de répondre. Mais le problème illustre une règle durable : une IA peut être brillante sur des tâches complexes et maladroite sur des tâches qui nous semblent enfantines.
→ DP 31