Comment sont créés les LLM / Glossaire

Alignement de l'IA

L'alignement de l'IA, c'est le travail qui fait correspondre le comportement d'un système d'IA à ce que les gens veulent et valorisent : utile pour les demandes du quotidien, honnête sur ce qu'il sait et prudent pour éviter de nuire.

Un modèle pré-entraîné copie les motifs d'internet, les bons comme les mauvais. L'entraînement à l'alignement ajoute des règles écrites sur la façon dont le modèle doit se comporter et l'entraîne sur des exemples et des notes qui les suivent, avec des méthodes comme le fine-tuning et le RLHF.

Le plus dur, c'est l'équilibre. Un modèle qui refuse trop peu peut contribuer à nuire, et un modèle qui refuse trop devient inutile : des chercheurs ont créé des jeux de tests pour repérer les modèles qui refusent des questions inoffensives. Certaines équipes entraînent des modèles de récompense séparés pour l'utilité et pour la sécurité, car les deux peuvent tirer dans des sens opposés.

D'autres approches font critiquer et réviser au modèle ses propres réponses d'après une liste écrite de principes. L'alignement n'est jamais terminé : le red teaming et la surveillance après le lancement trouvent sans cesse de nouvelles failles à corriger.