Comment une IA comprend-elle le sens des mots ?
Une carte du sens
Imaginez une carte où « brioche », « croissant » et « pain au chocolat » forment un quartier, pendant que « fouet », « casserole » et « couteau » en forment un autre. Personne ne range les mots à la main : leur position se règle toute seule pendant l'entraînement, parce que des mots qui apparaissent dans les mêmes phrases finissent par se rapprocher.
Des milliers de dimensions
La carte du jeu n'a que deux dimensions, pour pouvoir la dessiner. La vraie en a plusieurs milliers. On ne peut pas la visualiser, mais le principe reste le même : une distance entre les mots, et des directions qui ont un sens.
Testez-vous : la station « Ranger »
Les relations deviennent des trajets
Sur cette carte, aller de « chat » à « chaton » revient à suivre une direction qu'on pourrait appeler « parent vers enfant ». En faisant le même trajet depuis « chien », on arrive près de « chiot ». C'est ce qui permet à l'IA de manipuler des idées et des analogies, pas seulement des mots isolés.
Le sens dépend du contexte
Dans les modèles modernes, la position d'un mot s'ajuste à la phrase. « Avocat » ne se range pas au même endroit dans « mon avocat plaide » et dans « un avocat bien mûr ». C'est le rôle du mécanisme d'attention, la station suivante du jeu.
Questions fréquentes
Embedding, vecteur, plongement : c'est la même chose ?
Oui, dans ce contexte. Un embedding est la représentation d'un mot (ou d'une phrase) sous forme de vecteur, c'est-à-dire de liste de nombres. Le terme français officiel est « plongement ».
À quoi servent les embeddings en dehors des chatbots ?
À la recherche par le sens (retrouver un document même sans les mots exacts), aux recommandations, ou au classement automatique de textes.
Le jeu complet, selon votre niveau :