L'attention, le secret des Transformers
Un exemple qui change tout
« Le chef a goûté la sauce parce qu'elle était trop salée » : « elle » désigne la sauce. « Le chef a goûté la sauce parce qu'il était curieux » : « il » désigne le chef. Un seul mot change, et le sens bascule. Pour chaque mot, l'IA attribue un poids à tous les mots précédents, et c'est ce poids qui guide sa compréhension.
Plusieurs têtes, plusieurs couches
Une IA ne fait pas ce calcul une seule fois. Elle utilise plusieurs « têtes » d'attention en parallèle : l'une peut suivre les pronoms, une autre les accords, une autre les guillemets. Puis elle recommence sur des dizaines de couches empilées, chacune affinant la compréhension de la précédente.
Testez-vous : la station « Relier »
D'où vient le Transformer ?
L'architecture Transformer a été présentée en 2017 par des chercheurs de Google, dans un article resté célèbre, « Attention Is All You Need ». Elle a remplacé les méthodes précédentes, qui lisaient le texte mot à mot et oubliaient vite le début des phrases longues. GPT signifie d'ailleurs Generative Pre-trained Transformer.
Pourquoi c'est important
L'attention permet de tenir compte d'un contexte très large : un mot à la fin d'une page peut être relié à un mot du début. C'est ce qui donne aux IA actuelles leur capacité à suivre une conversation ou un long document.
Questions fréquentes
Que veut dire GPT ?
Generative Pre-trained Transformer : un modèle génératif, pré-entraîné sur de grandes quantités de textes, et basé sur l'architecture Transformer.
Claude et Gemini utilisent-ils aussi des Transformers ?
Oui, les grands modèles de langage actuels reposent tous sur des variantes de l'architecture Transformer.
Le jeu complet, selon votre niveau :