C'est quoi un token en IA ?
Pourquoi découper en morceaux ?
Une IA ne manipule que des nombres. Il faut donc transformer le texte en une suite de numéros. On pourrait donner un numéro à chaque lettre, mais les phrases deviendraient très longues. On pourrait en donner un à chaque mot, mais il en faudrait des millions, et les mots nouveaux ou mal orthographiés seraient impossibles à lire.
Les tokens sont le compromis : un vocabulaire de quelques dizaines de milliers de morceaux, assez pour tout écrire. Les mots fréquents (« le », « photo », « bonjour ») tiennent en un seul token. Les mots rares sont assemblés à partir de morceaux connus, comme des briques de Lego.
Un exemple de découpage
La phrase « Le chef dresse une assiette de saint-jacques. » peut être découpée en une douzaine de tokens : Le · chef · dress · e · une · assiette · de · saint · - · j · acques · . Ce découpage est un exemple : chaque modèle a son propre vocabulaire, et le résultat exact varie.
La logique, elle, est toujours la même : ce qui est fréquent reste entier, ce qui est rare est coupé. « Le », « chef » et « assiette » sont des mots courants, donc un seul token chacun ; l'espace qui les précède fait partie du token. « Dresse » est plus rare : le découpeur prend « dress », très fréquent en anglais, puis ajoute « e ». « Jacques » en minuscules n'est pas connu en entier : il devient « j » + « acques », un morceau qu'on retrouve dans Jacqueline. Le tiret et le point forment des tokens à part.
Testez-vous : la station « Découper »
Comment ce vocabulaire est-il choisi ?
Le découpage est appris automatiquement, avant l'entraînement de l'IA. La méthode la plus courante part des lettres, puis fusionne les paires qui reviennent le plus souvent dans un énorme corpus de textes, des dizaines de milliers de fois. On obtient un vocabulaire de 50 000 à 200 000 tokens selon les modèles.
Pourquoi les tokens comptent au quotidien
Le prix : les IA accessibles aux développeurs sont facturées au nombre de tokens lus et écrits. La mémoire : la quantité de texte qu'une IA peut garder en tête (sa fenêtre de contexte) se mesure aussi en tokens. Les bizarreries : comme l'IA ne voit pas les lettres, compter les « r » de « carrefour » a longtemps été un exercice difficile pour elle. Enfin, le français coûte souvent un peu plus de tokens que l'anglais, parce que les découpages ont surtout été appris sur des textes anglais.
Questions fréquentes
Combien de mots fait un token ?
En moyenne, un token correspond à environ trois quarts d'un mot en anglais, et un peu moins en français. Une page de texte représente quelques centaines de tokens.
Est-ce que tous les modèles utilisent les mêmes tokens ?
Non. Chaque famille de modèles a son propre découpage, donc le même texte ne donne pas exactement le même nombre de tokens chez ChatGPT, Claude ou Gemini.
Le jeu complet, selon votre niveau :