Accueil › Le guide › Deviner

Comment une IA comme ChatGPT écrit-elle ses réponses ?

La réponse courteUne IA de langage écrit en prédisant le mot suivant. À chaque étape, elle calcule une probabilité pour chaque token possible (« parapluie » 78 %, « manteau » 9 %…), en choisit un, l'ajoute au texte et recommence. Une réponse de 500 mots, c'est 500 fois ce calcul.

Une distribution, pas une réponse unique

Après « Il pleut des cordes, n'oublie pas ton… », l'IA ne « sait » pas qu'il faut écrire « parapluie ». Elle produit une liste de chances pour chacun des dizaines de milliers de tokens de son vocabulaire. « Parapluie » arrive en tête, « manteau » et « chapeau » suivent, et « ordinateur » garde une chance minuscule mais pas nulle.

Pourquoi deviner donne l'air de savoir

Prédire le mot suivant paraît simple, mais pour bien deviner la fin d'une démonstration de maths, d'une recette ou d'un raisonnement juridique, il faut avoir assimilé beaucoup de connaissances. À force d'entraînement sur d'énormes quantités de textes, la prédiction devient assez bonne pour produire des réponses utiles.

Testez-vous : la station « Deviner »

Score 0

Un mot à la fois, sans retour en arrière

L'IA ne rédige pas un brouillon complet avant de répondre : elle écrit token après token, et chaque nouveau token dépend de tout ce qui précède. C'est pour ça que la réponse s'affiche progressivement à l'écran. Les modèles récents peuvent aussi « réfléchir » avant de répondre, en écrivant d'abord un raisonnement intermédiaire.

Ce que ça implique

Comme l'IA produit ce qui est le plus plausible, elle peut aussi produire quelque chose de plausible mais faux. C'est l'origine des hallucinations, expliquées plus loin dans le guide.

Questions fréquentes

Une IA comprend-elle ce qu'elle écrit ?

La question fait débat. Techniquement, elle prédit des tokens. Mais pour bien les prédire, elle a construit des représentations internes riches, qui ressemblent en partie à une forme de compréhension.

Pourquoi deux réponses à la même question sont-elles différentes ?

Parce que l'IA tire au sort parmi les tokens probables. Ce tirage est réglé par la température, expliquée dans l'article suivant.

Le jeu complet, selon votre niveau :