Comment une IA comme ChatGPT écrit-elle ses réponses ?
Une distribution, pas une réponse unique
Après « Il pleut des cordes, n'oublie pas ton… », l'IA ne « sait » pas qu'il faut écrire « parapluie ». Elle produit une liste de chances pour chacun des dizaines de milliers de tokens de son vocabulaire. « Parapluie » arrive en tête, « manteau » et « chapeau » suivent, et « ordinateur » garde une chance minuscule mais pas nulle.
Pourquoi deviner donne l'air de savoir
Prédire le mot suivant paraît simple, mais pour bien deviner la fin d'une démonstration de maths, d'une recette ou d'un raisonnement juridique, il faut avoir assimilé beaucoup de connaissances. À force d'entraînement sur d'énormes quantités de textes, la prédiction devient assez bonne pour produire des réponses utiles.
Testez-vous : la station « Deviner »
Un mot à la fois, sans retour en arrière
L'IA ne rédige pas un brouillon complet avant de répondre : elle écrit token après token, et chaque nouveau token dépend de tout ce qui précède. C'est pour ça que la réponse s'affiche progressivement à l'écran. Les modèles récents peuvent aussi « réfléchir » avant de répondre, en écrivant d'abord un raisonnement intermédiaire.
Ce que ça implique
Comme l'IA produit ce qui est le plus plausible, elle peut aussi produire quelque chose de plausible mais faux. C'est l'origine des hallucinations, expliquées plus loin dans le guide.
Questions fréquentes
Une IA comprend-elle ce qu'elle écrit ?
La question fait débat. Techniquement, elle prédit des tokens. Mais pour bien les prédire, elle a construit des représentations internes riches, qui ressemblent en partie à une forme de compréhension.
Pourquoi deux réponses à la même question sont-elles différentes ?
Parce que l'IA tire au sort parmi les tokens probables. Ce tirage est réglé par la température, expliquée dans l'article suivant.
Le jeu complet, selon votre niveau :