Accueil › Le guide › Relier

L'attention, le secret des Transformers

La réponse courteL'attention est le mécanisme qui permet à une IA de relier chaque mot aux autres mots de la phrase. Pour comprendre « elle » dans « le chef a goûté la sauce parce qu'elle était trop salée », l'IA calcule quels mots précédents comptent le plus, ici « sauce ». C'est le cœur de l'architecture Transformer, le T de GPT.

Un exemple qui change tout

« Le chef a goûté la sauce parce qu'elle était trop salée » : « elle » désigne la sauce. « Le chef a goûté la sauce parce qu'il était curieux » : « il » désigne le chef. Un seul mot change, et le sens bascule. Pour chaque mot, l'IA attribue un poids à tous les mots précédents, et c'est ce poids qui guide sa compréhension.

Plusieurs têtes, plusieurs couches

Une IA ne fait pas ce calcul une seule fois. Elle utilise plusieurs « têtes » d'attention en parallèle : l'une peut suivre les pronoms, une autre les accords, une autre les guillemets. Puis elle recommence sur des dizaines de couches empilées, chacune affinant la compréhension de la précédente.

Testez-vous : la station « Relier »

Score 0

D'où vient le Transformer ?

L'architecture Transformer a été présentée en 2017 par des chercheurs de Google, dans un article resté célèbre, « Attention Is All You Need ». Elle a remplacé les méthodes précédentes, qui lisaient le texte mot à mot et oubliaient vite le début des phrases longues. GPT signifie d'ailleurs Generative Pre-trained Transformer.

Pourquoi c'est important

L'attention permet de tenir compte d'un contexte très large : un mot à la fin d'une page peut être relié à un mot du début. C'est ce qui donne aux IA actuelles leur capacité à suivre une conversation ou un long document.

Questions fréquentes

Que veut dire GPT ?

Generative Pre-trained Transformer : un modèle génératif, pré-entraîné sur de grandes quantités de textes, et basé sur l'architecture Transformer.

Claude et Gemini utilisent-ils aussi des Transformers ?

Oui, les grands modèles de langage actuels reposent tous sur des variantes de l'architecture Transformer.

Le jeu complet, selon votre niveau :