Comment apprend-on à une IA à bien répondre ?
Compléter n'est pas répondre
Un modèle seulement pré-entraîné, à qui l'on demande « Quelle est la capitale de l'Australie ? », peut très bien continuer par une liste d'autres questions, comme dans un quiz trouvé sur internet. Il complète, il ne répond pas. L'éducation lui apprend le rôle d'assistant.
Le principe des comparaisons
On présente deux réponses à une même demande. L'une explique vraiment pourquoi un gâteau n'a pas levé, l'autre se contente de flatter. L'une donne la bonne capitale, l'autre se trompe avec assurance. L'une aide à rédiger un message banal, l'autre refuse sans raison. Les annotateurs choisissent, et l'IA apprend ce qui fait une bonne réponse : utile, honnête, prudente quand il le faut.
Testez-vous : la station « Éduquer »
Le risque de la flatterie
À force de chercher à plaire, une IA peut devenir complaisante et approuver tout ce qu'on lui dit. Pour l'éviter, les laboratoires ajoutent des principes explicites. Chez Anthropic, par exemple, ces principes sont réunis dans un texte appelé la constitution, et une partie des évaluations est faite par une IA qui les applique.
Une étape décisive
C'est largement cette étape qui donne à chaque assistant sa personnalité : son ton, ses refus, sa façon d'admettre une erreur.
Questions fréquentes
Que signifie RLHF ?
Reinforcement Learning from Human Feedback : apprentissage par renforcement à partir de retours humains.
Pourquoi une IA refuse-t-elle parfois des demandes anodines ?
Parce que l'éducation a parfois rendu le modèle trop prudent. Les laboratoires cherchent un équilibre entre éviter les réponses dangereuses et ne pas refuser pour rien.
Le jeu complet, selon votre niveau :