Base de connaissances AIEdAIEd KB
Sur cette page

Cette page est traduite en français. Les pages d'articles sont encore rédigées en anglais. Lire cette page en anglais

Concepts

Entraînement et ajustement fin des grands modèles de langue

Création 2026-05-07 · Mise à jour 2026-10-10

Cette page est une traduction automatique de la page anglaise, non relue par un locuteur natif.

Entraînement et ajustement fin des grands modèles de langue (LLM Training and Fine-Tuning) — comment les modèles d'IA éducative sont fabriqués : le pipeline allant du pré-entraînement au post-entraînement puis à l'adaptation, ce que coûte chaque étape, et ce que les preuves montrent qu'il achète. Le problème organisateur est un désalignement des incitations : les modèles généralistes sont optimisés pour répondre, alors que l'enseignement exige de retenir la réponse. Le post-entraînement et l'ajustement fin sont les deux leviers qui changent ce comportement, et le résultat le plus clair de la base de connaissances est qu'ils constituent un troisième choix, et non le premier — la recherche documentaire et l'ingénierie des invites viennent plus tôt dans la décision, et une étude rapportée ici a trouvé l'ajustement fin supervisé en échec sur une tâche que la simple sollicitation remportait (WrAFT). Écrit pour les développeurs de logiciels éducatifs et les praticiens de l'enseignement qui décident quoi construire avec.

Questions à examiner

  • Si vous avez une tâche de tutorat où un modèle généraliste répond trop aisément, votre premier geste est-il une meilleure invite, une recherche documentaire sur vos propres supports, ou un entraînement ? Que vous faudrait-il mesurer pour dire lequel des trois a aidé ?
  • L'ajustement fin a besoin de données. D'où viendraient les exemples d'entraînement de votre projet, à qui appartiennent-ils, et quel examen de la vie privée exigeraient-ils avant de pouvoir être utilisés ?
  • Une étude rapportée ici a trouvé que l'ajustement fin d'un modèle sur des données d'évaluation améliorait la mise en forme et la similarité tandis qu'un ajustement fin distinct échouait complètement à générer de la rétroaction. Qu'est-ce que cela suggère quant à l'importance d'adapter la méthode d'entraînement à la tâche ?
  • Le post-entraînement par apprentissage par renforcement peut apprendre à un modèle à guider plutôt qu'à répondre. Quelle récompense écririez-vous pour capturer « guide bien », et comment un modèle la contournerait-il ?
  • La base de connaissances rapporte que le choix du modèle et des invites ne rend compte que d'environ 15 % de l'écart entre un grand modèle de langue et les gains d'apprentissage des étudiants. Si c'est exact, comment cela devrait-il changer votre décision de construire ou d'acheter ?
  • Un modèle ajusté qui est exact peut néanmoins être dangereux au fil d'une longue conversation. Que testeriez-vous avant de le laisser parler à des étudiants sans surveillance ?

Introduction

Le développement de l'IA éducative se heurte au même mur par deux directions. Les modèles de langue généralistes sont post-entraînés sur la préférence humaine en faveur de l'utilité, ce qui signifie en pratique répondre promptement et complètement ; le tutorat exige l'inverse, parce que l'objectif pédagogique est d'aider un étudiant à parvenir à la réponse plutôt que de la lui remettre. Dans le même temps, un modèle généraliste ne sait rien de votre programme, de votre barème, ni du ton de votre institution, et aucune quantité d'ingénierie des invites ne les installe de manière fiable.

Cette page couvre les techniques qui changent un modèle plutôt que le texte que vous lui envoyez. Elles se situent sur une échelle d'engagement croissant : l'ingénierie des invites, puis la recherche documentaire, puis l'adaptation économe en paramètres, puis l'ajustement fin complet, puis le post-entraînement par signaux de préférence ou de récompense. Chaque échelon coûte plus de données, plus de calcul et plus de discipline d'évaluation que le précédent, et chacun est un premier choix moins bon que l'échelon inférieur, à moins qu'une mesure spécifique ne justifie la montée. Une grande partie de la littérature de recherche ne rapporte que le sommet de cette échelle, ce qui rend facile pour un développeur de se tourner vers l'entraînement là où la recherche documentaire aurait suffi.

La page est organisée autour des décisions auxquelles un constructeur fait réellement face : quel levier actionner (cette section et la suivante), ce que l'adaptation achète et coûte en pratique, ce que le post-entraînement peut façonner et que l'adaptation ne peut pas, et comment ces systèmes défaillent. La terminologie est employée dans son sens standard : le pré-entraînement est l'étape depuis zéro sur un corpus général, le post-entraînement est tout ce qui, après lui, façonne le comportement (ajustement fin supervisé, optimisation des préférences, apprentissage par renforcement), et l'ajustement fin couvre à la fois l'étape supervisée du post-entraînement et le travail ultérieur d'adaptation à une tâche ou à un domaine, y compris les méthodes économes en paramètres.

Le pipeline d'entraînement, étape par étape

Trois étapes, avec des accessibilités très différentes. Savoir laquelle décrit un article évite la plupart des erreurs de lecture de cette littérature.

Le pré-entraînement construit un modèle de base à partir d'un corpus de texte général. C'est l'étape qui produit la capacité large du modèle, et elle est hors de portée pour essentiellement tout projet éducatif : le coût se compte en millions de dollars et les données consistent en une collecte à l'échelle du web. Rien dans cette base de connaissances ne le fait. Sa pertinence pour les praticiens est diagnostique plutôt qu'actionnable — les données de pré-entraînement sont le levier dominant sur le comportement d'un modèle, et c'est le seul levier que vous ne pouvez pas actionner. Cette asymétrie explique pourquoi toutes les techniques restantes du champ opèrent sur un modèle déjà entraîné.

Le post-entraînement façonne le comportement par-dessus le modèle de base. L'ajustement fin supervisé (SFT) apprend au modèle à imiter des démonstrations ; l'optimisation des préférences et l'apprentissage par renforcement le poussent ensuite vers des sorties qu'un modèle de récompense ou un ensemble de jugements humains notent plus haut. C'est l'étape où un modèle peut apprendre à guider au lieu de répondre, et c'est là que vivent les résultats éducatifs les plus frappants. C'est aussi l'étape la plus sensible à la conception de la récompense, parce qu'une récompense est une spécification comprimée de ce que vous voulez et que les modèles optimisent ce que vous avez réellement écrit.

L'adaptation ajuste un modèle existant à votre tâche ou à votre domaine, généralement avec bien moins de données et de calcul. L'ajustement fin économe en paramètres (PEFT), dont la forme commune est LoRA, entraîne un petit nombre de paramètres ajoutés et laisse les poids de base gelés. L'ajustement fin complet met tout à jour. La distillation et le désapprentissage se situent à leurs côtés. Les sections ci-dessous les traitent tour à tour. Pour la plupart des développeurs éducatifs, c'est l'étape pratique — celle où quelques centaines à quelques milliers d'exemples et un seul GPU peuvent produire un modèle déployable.

Invite, recherche documentaire, ou entraînement ? La décision qui vient d'abord

Le résultat unique le plus fort de cette base de connaissances sur cette question provient d'une étude sur la recherche documentaire, et non sur l'entraînement. En construisant un assistant de base de connaissances pour un cours, Shen et al. (2026) ont évalué des modèles locaux dans trois configurations et ont trouvé que la recherche documentaire, et non le modèle, est la décision de conception du premier ordre : leur grand modèle de langue local sans recherche documentaire n'atteignait que 52,3 % d'exactitude, en dessous d'une référence TF-IDF de 55,4 %, tandis que l'ajout de la génération augmentée par la recherche documentaire sans aucun ajustement fin le faisait monter à 66,6 % (Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources). Les configurations d'ajustement fin qu'ils ont aussi testées sont rapportées aux côtés des ablations de recherche documentaire, de la quantification et de l'énergie par requête, ce qui rend la comparaison exceptionnellement honnête : un modèle de base sans ancrage peut être pire qu'une méthode lexicale vieille de plusieurs décennies, et la correction la moins chère n'est pas l'entraînement.

Ce que le champ construit réellement reflète un ordre similaire. Une revue guidée par PRISMA de 23 études empiriques (2020–2025) sur la personnalisation de l'IA pour l'enseignement de l'écriture a trouvé l'ingénierie des invites dominante (N = 13), devant l'ajustement fin (N = 7) et les architectures hybrides (N = 3) (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). Le constat plus aigu de la revue est un désalignement structurel plutôt qu'un classement de techniques : les objectifs pédagogiques déclarés se sont déplacés vers les processus d'écriture, la littératie de la rétroaction et les compétences académiques d'ordre supérieur, tandis que les implémentations dominantes poursuivent encore des objectifs centrés sur le produit par la conception d'invites ou l'ajustement fin.

Là où l'ingénierie des invites et l'entraînement ont été comparés directement, le résultat dépend de la tâche, ce qui est précisément pourquoi la décision devrait être mesurée plutôt que présumée :

  • L'entraînement gagne lorsque la cible est un format de sortie stable ou une propriété contrôlée. Sur la génération automatique d'items pour l'évaluation de la compréhension orale en L2, l'affinage itératif des invites a plafonné, et l'ajustement fin de GPT-4.1 sur l'invite optimisée a ensuite amélioré la génération au-delà de la seule sollicitation — isolant l'adaptation du modèle, plutôt que la conception de l'invite, comme le moteur du gain restant (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment).
  • La sollicitation gagne lorsque la cible est un texte chargé de jugement. Le même système qui s'ajustait avec succès pour la notation échouait à la rétroaction : dans WrAFT, un module GPT-4o ajusté atteignait QWK 0,84 et RMSE 0,44 sur 360 dissertations TOEFL réservées, mais l'ajustement fin supervisé pour la génération de rétroaction produisait une sortie tronquée et non analysable, tandis que la sollicitation directe de Claude 3.7 produisait la rétroaction que les enseignants jugeaient la meilleure (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). L'ajustement fin a appris au modèle à atteindre un score ; il ne lui a pas appris à écrire.
  • Le façonnement au niveau de l'invite peut se substituer à l'entraînement lorsque la cible est une persona ou un barème. La sollicitation guidée par un barème, co-affinée de manière itérative, a fait passer l'accord entre grand modèle de langue et humain sur les travaux de conception d'étudiants de 54,75 % à 81,25 % (alpha de Cronbach 0,393 → 0,798) sans aucun ajustement fin (From evaluation to emulation: LLMs as agents of iterative pedagogical design), et une invite de GPT personnalisé fondée sur la littérature a suscité des idées fausses mathématiques cibles à une présence de 0,98 contre 0,40 pour une invite large (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).
  • Il y a un plafond à tout cela. Hardy et Kim (2026) estiment que le choix du modèle et des invites ne rend compte à eux deux que d'environ 15 % du désalignement entre les grands modèles de langue et les gains d'apprentissage des étudiants, le reste se répartissant entre les modèles, et ils ont trouvé que les ensembles pondérés par les repères et par vote unanyme rendaient l'alignement pire (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). Si les données de pré-entraînement sont le levier dominant et que c'est celui que vous ne pouvez pas actionner, alors les attentes quant à ce que chacune de ces techniques peut atteindre devraient être calibrées en conséquence.

Ce que l'ajustement fin achète : la contrôlabilité plutôt que l'échelle

Lorsqu'un modèle généraliste ne peut pas être amené à tenir une propriété dont vous avez besoin, l'ajustement fin sur un jeu de données modeste le peut souvent — et le résultat récurrent est que le ciblage bat la taille. Trois modèles de 8B ajustés sur un programme d'apprentissage de la lecture pour enfants conçu par des experts ont surpassé GPT-4o et Llama 3.3 70B en zéro-coup sur les métriques liées à la difficulté, avec des problèmes de sécurité négligeables. Les auteurs cadrent cela comme la contrôlabilité plutôt que l'échelle, puisqu'un modèle compact peut être réglé sur un niveau de lecture et un profil d'erreurs spécifiques d'une manière dont on ne peut pas le demander à un modèle généraliste (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).

Le schéma se répète sur des tâches très différentes :

  • Ancrage au programme. Un jeu de données d'instructions multilingue de 24 795 exemples ancré dans les Indian Knowledge Systems a produit un ajustement de 7B obtenant 6,39 auprès d'un panel externe de cinq juges (médiane sur 1 201 items stratifiés). C'est à 0,15 près d'un fort modèle de référence généraliste, pour une fraction du coût de déploiement — alors que le même modèle de base obtenait un score proche de zéro sur les dimensions propres aux IKS sans l'ajustement fin (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). Cet écart entre « compétent en général » et « compétent ici » constitue tout l'argument en faveur de l'adaptation au domaine. Notez aussi le détail contre-intuitif que rapportent les auteurs : la qualité n'a pas augmenté de manière monotone avec la curation des données.
  • Fiabilité de l'évaluation, à peu de frais. Un seul adaptateur LoRA entraîné sur environ 3 900 exemples notés regroupés a amené cinq petits modèles ouverts (4B–30B) à la parité ou au-delà d'un correcteur humain sur deux examens d'informatique, et a presque effacé la sensibilité à la persona (dérive ≤ 0,32 MAE) (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). Un adaptateur, un jeu de données, plusieurs modèles de base — voilà la forme d'un déploiement pratique.
  • Automatisation sélective. La confiance était un prédicteur fiable de l'erreur de notation (β = −0,602, p < ,001). Acheminer les 20 % de réponses les moins sûres vers une revue humaine faisait passer un modèle GPT-3.5 ajusté de r = 0,781 à r = 0,822 (RMSE 0,5990 → 0,5544) tout en réduisant le travail manuel de notation d'environ 80 % (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment). L'ajustement fin ne remplace pas ici l'humain ; il rend l'attention de l'humain abordable.
  • Mesurer des construits que vous évalueriez sinon à la main. Des transformateurs hongrois ajustés (hubert-base-cc, PULI-BERT-Large) ont été évalués comparativement contre des caractéristiques TF-IDF et des plongements Qwen3 pour noter des écrits réflexifs dans la formation des enseignants (Automatic Reflection Level Classification in Hungarian Student Essays), et un modèle multimodal ajusté (fondé sur Qwen3.5) a montré qu'il pouvait reconstruire des courbes caractéristiques d'items pour des items à choix multiples, apprenant les régularités de réponse encodées dans les courbes 3PL et MCM plutôt qu'on ne les lui enseignait (Multimodal Item Parameter Estimation using Simulated Response Probabilities).

L'adaptation économe en paramètres en pratique

LoRA et ses proches constituent le lieu où la plupart des équipes éducatives travailleront réellement, et la littérature contient des indications exceptionnellement précises sur leur comportement.

Le rang est un compromis, et non un bouton à maximiser. Lu et al. (2026) ont construit 360 dialogues système–utilisateur–assistant à partir d'un cours de systèmes de commande linéaire, restructuré les réponses en un format Solution–Méthode–Points d'enseignement, et appliqué LoRA à Qwen2.5-3B et 7B aux rangs 4, 8 et 16. La couverture des sorties structurées est passée de près de zéro à la base à environ 1,00, et la meilleure configuration (7B, r = 16) a atteint ROUGE-L 0,4093 avec des intervalles de confiance bootstrap pour le gain entièrement au-dessus de zéro. Mais le gain par million de paramètres d'adaptateur chutait de manière monotone à mesure que le rang augmentait, si bien que l'alignement au niveau du cours est un compromis d'échelle et de rang plutôt qu'une mise à niveau gratuite (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). Leurs métriques mesurent la similarité et la mise en forme, et non l'exactitude dérivationnelle, ce qui constitue la réserve standard pour toute cette famille d'évaluations.

L'échelle ne prédit pas le succès, et des réglages identiques se comportent différemment selon les architectures. AiAWE, un système ouvert d'évaluation automatisée de l'écriture construit sur un Gemma-3-27B-it adapté par LoRA, a atteint RMSE 0,474, QWK 0,828, et un accord à ±0,5 près du score humain sur 90,56 % de 360 dissertations d'évaluation, surpassant LLaMA-3.3-70B et une référence GPT-3.5 ajustée — tout en tournant sur un serveur de qualité grand public. Trois constats plus larges importent davantage que le score : l'échelle du modèle n'était pas un prédicteur fiable de la performance en aval sous adaptation LoRA, des hyperparamètres LoRA identiques produisaient des comportements d'adaptation qualitativement différents selon les architectures, et un modèle ouvert de taille moyenne bien réglé peut être compétitif face à des systèmes propriétaires (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models).

Les couches à adapter constituent une véritable décision. Dans un système d'analyse du discours pour l'enseignement de l'anglais, l'ajustement fin d'un BERT tronqué en ne mettant à jour que les quatre dernières couches de Transformer a battu les deux alternatives : n'adapter que la couche supérieure atteignait un plafond plus bas, et l'ajustement fin complet des 12 couches surajustait et oscillait (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model).

L'architecture de base peut importer davantage que le nombre de paramètres. L'ajustement fin de trois modèles ouverts de texte vers image sur 1 000 images de génie nucléaire légendées a considérablement amélioré Stable Diffusion XL, n'a donné que des gains limités pour SD-v3.5-Medium, et n'a produit aucune amélioration mesurable pour le modèle de flow matching Flux.1 (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts). Une recette d'ajustement fin n'est pas portable d'une architecture à l'autre, ce qui est la même leçon qu'AiAWE rapporte dans l'autre direction.

Deux techniques adjacentes complètent l'étape d'adaptation. La distillation comprime un système grand ou en boîte noire en un petit système déployable. Un pipeline à deux étapes a distillé un estimateur par apprentissage automatique en boîte noire ajusté ainsi que son interprétation a posteriori dans un petit grand modèle de langue à poids ouverts, un « mentoré » à 2B de paramètres parvenant à une récupération quasi sans perte de la surface d'effet de l'oracle (r > ,90). Ce résultat est rapporté sous une évaluation plaçant la fidélité au premier rang, qui audite chaque narration contre l'attribution qu'elle prétend décrire (Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics). Le désapprentissage retire un contenu ciblé après l'entraînement : un désapprentissage fondé sur les gradients a été appliqué à trois modèles pour en extraire les données personnelles et le contenu nuisible, testé dans deux ordres de retrait (données personnelles d'abord, puis contenu nuisible) (Balancing AI responsibility with privacy, safety, and utility: Unlearning in large language models for mathematics education) — l'outil pertinent lorsqu'un modèle a mémorisé quelque chose qu'il ne devrait pas porter.

Post-entraînement : façonner le comportement, et pas seulement le format

L'adaptation apprend à un modèle ce qu'il faut produire ; le post-entraînement lui apprend comment se comporter. C'est là que les résultats pédagogiques sont les plus frappants, et là où la conception du signal de récompense ou de préférence décide de tout.

Le résultat de pipeline. Singh et al. (2026) ont transformé Qwen3-32B en EduQwen à travers trois étapes — apprentissage par renforcement initial, SFT synthétique, apprentissage par renforcement final — atteignant 96,52 % sur le repère CDPK et surpassant les 90,55 % de Gemini-3 Pro. Les résultats intermédiaires sont la partie instructive : la première étape d'apprentissage par renforcement seule atteignait 94,13 %, le SFT sur 40 000 réponses auto-générées la portait à 96,20 %, et la dernière passe d'apprentissage par renforcement ajoutait la dernière fraction. Le modèle de récompense privilégiait les réponses guidantes plutôt que les réponses directes, l'extraction de négatifs difficiles excluait les questions que le modèle de base résolvait déjà, et les déploiements (rollouts) ont été étendus de 5 à 8 étapes pour capter les décisions pédagogiques à étapes multiples (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). En regard, le Pedagogy Benchmark — tiré de vrais examens de développement professionnel des enseignants portant sur 97 modèles — a trouvé une exactitude allant de 28 % à 89 %, ce qui montre que la connaissance pédagogique ne s'acquiert pas incidemment pendant le pré-entraînement général (Lelièvre et al., 2025).

Entraîner la décision plutôt que l'énoncé. TACT a post-entraîné un tuteur sur une taxonomie à 13 stratégies plus une taxonomie de gestes d'étudiants à deux axes et a gagné 20,30 points sur son ossature Qwen3.5-4B, avec un repère de diagnostic qui retient les étiquettes d'état de l'apprenant disponibles pendant l'entraînement afin que le modèle doive inférer l'état à partir du dialogue (TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring). La même logique apparaît dans Special-R1 pour l'alignement sur l'éducation spécialisée (Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training) et dans les travaux d'apprentissage par renforcement heuristique qui alignent les modèles comme guides socratiques plutôt que comme répondeurs (Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning). Le post-entraînement n'a pas besoin de façonner seulement ce que le modèle dit : une plateforme associe un agent conversationnel de tutorat gardé à un agent d'apprentissage par renforcement qui choisit le prochain problème d'entraînement, si bien que la politique entraînée décide de ce que l'apprenant fera ensuite (Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning).

Modèles de raisonnement distillés. Une voie moins coûteuse vers un comportement pédagogique consiste à apprendre à un petit modèle à en imiter un plus grand : Pedagogy-R1 (1,5B et 7B) a été ajusté aux instructions sur des sorties pédagogiquement filtrées distillées d'un enseignant QwQ-32B, associé à la sollicitation Chain-of-Pedagogy (Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark).

Post-entraînement conditionné par les instructions contre données authentiques. LearnLM cadre l'entraînement des modèles d'éducation comme du suivi d'instructions pédagogiques, portant des instructions au niveau du système qui permettent aux développeurs et aux enseignants de spécifier le comportement du tuteur sans s'engager envers une seule définition de la pédagogie. Il est mélangé aux étapes de post-entraînement de Gemini par co-entraînement, et les experts l'ont préféré à GPT-4o (+31 %), à Claude 3.5 Sonnet (+11 %) et à Gemini 1.5 Pro de base (+13 %). Le constat clé est que l'apprentissage par renforcement est substantiellement plus efficace que le seul SFT pour suivre des instructions pédagogiques nuancées dans de longues conversations (LearnLM: Improving Gemini for Learning). TeachLM prend le pari inverse : que l'ingénierie des invites est un expédient et que l'ingrédient rare est les données authentiques d'interaction apprenant–tuteur. Entraîné sur 100 000 heures de séances individuelles sous anonymisation rigoureuse, il double le temps de parole des étudiants, améliore le style de questionnement, et augmente de 50 % le nombre de tours de dialogue (TeachLM: Post-Training LLMs for Education Using Authentic Learning Data). Ensemble, ils définissent l'espace de conception : le post-entraînement conditionné par les instructions lorsque vos données sont rares, l'ajustement fin sur de véritables interactions de tutorat lorsque vous en disposez.

La qualité de la supervision bat la quantité de supervision. La progression de SWIM pour un simulateur d'écriture en est la démonstration la plus nette. La sollicitation fondée sur un barème donnait un contrôle limité de la compétence (meilleur QWK moyen par trait 0,577 pour Claude Sonnet, 0,422 pour GPT-5.4, proche de zéro pour un modèle ouvert de 7B) ; l'ajustement fin supervisé élevait ce modèle de 7B à 0,474 ± 0,023. Le GRPO contre une récompense dérivée de la notation automatisée de dissertations l'élevait encore à 0,618 ± 0,005 pour chaque trait et chaque invite, la récompense étant conçue comme une exactitude dense normalisée par trait parce que les récompenses par correspondance exacte sont trop clairsemées dans un contexte multi-traits (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation). L'étude sur la modélisation des idées fausses parvient à une conclusion plus aiguë sur ce que la supervision doit contenir : des modèles ajustés aux instructions n'ont appris des idées fausses en algèbre que lorsqu'ils étaient entraînés sur des traces de solution au niveau de l'étape, l'exactitude restant sous 30 % à chaque taille de données lorsqu'ils étaient entraînés sur les seules réponses finales. Son rôle étudiant surgénéralisait l'erreur apprise jusqu'à ce que des exemples corrects soient explicitement mêlés à des ratios aussi faibles que un sur quatre, tandis que le rôle tuteur ne montrait pas un tel coût, conservant une exactitude sur les cas corrects de 93 % à 98 % sur dix idées fausses entraînées conjointement (Misconception Acquisition Dynamics in Large Language Models).

Les données d'entraînement sont elles-mêmes quelque chose que des modèles peuvent curater : Edu-QuRating adapte la distillation des préférences à la curation de données éducatives, remplaçant un score unique de type « est-ce éducatif ? » par 20 dimensions de barème couvrant l'exactitude factuelle, la structure pédagogique et l'adéquation du niveau (Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements).

La théorie peut servir d'étayage à l'entraînement. Pour des agents automatisant la conception de systèmes pédagogiques, un hybride des cadres classiques ADDIE et Dick & Carey avec un raisonnement de type ReAct a surpassé à la fois la théorie pure (structurée mais inflexible) et les agents à technique seule (flexibles mais non fondés), sur 25 795 scénarios issus d'une matrice de contexte à 51 variables, avec un protocole multi-juges pour réduire le biais du « grand modèle de langue comme juge » (ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents). Et une étude sur les étiquettes de supervision a trouvé que l'attribution à chaque exemple d'entraînement d'un seul comportement cible — compétence disciplinaire, ancrage au programme, raisonnement diagnostique, ou étayage — élevait chaque échelle de modèle testée, avec les plus forts gains en étayage et en usage de l'historique d'un apprenant, tandis que le diagnostic de l'état des connaissances restait le plus faible à 54,04 % (OmniEdu: Open Foundation Models for Learning and Teaching).

Entraîner le côté apprenant, et pas seulement le tuteur

La même machinerie est de plus en plus pointée vers la simulation d'étudiants, ce qui change l'économie de l'évaluation d'un tuteur : au lieu de recruter des apprenants, vous les générez.

La mise en garde est que les étudiants simulés doivent être validés comme tout autre instrument. Évaluer comparativement des modèles ajustés et sollicités sur 382 dialogues réservés issus du plus grand corpus public de véritables dialogues d'apprentissage des mathématiques entre étudiants et tuteurs — sur sept métriques couvrant les aspects linguistiques, comportementaux et cognitifs — a produit le test le plus direct du champ sur la question de savoir si les étudiants simulés se comportent comme des étudiants (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Deux approches supplémentaires poussent sur la fidélité : INSIDE ajuste des grands modèles de langue pour qu'ils agissent et pensent comme des étudiants, générant un dialogue interne ancré dans la taxonomie de Bloom à travers les dimensions cognitive, affective et d'action, et s'entraînant sur des traces de pensée et des actions appariées (INSIDE the Student's Mind: Jointly Modeling Latent Reasoning and Action in LLM Student Simulators), et des profils conscients de l'historique conditionnent la simulation à la trajectoire antérieure d'un étudiant plutôt qu'à une persona statique (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues). Pour un développeur, la leçon pratique est qu'un simulateur est un instrument de mesure et hérite de toutes les questions de validité que cela implique.

Ce qui va mal

La flagornerie est un objectif d'entraînement, et non un réglage d'utilisabilité. Le tutorat exige une friction corrective, et les modèles y résistent. EduFrameTrap montre que des modèles qui résistent aux attaques par changement de contexte capitulent néanmoins sous la pression de l'autorité ou socio-affective et retiennent la rétroaction corrective, ce qui explique pourquoi ses auteurs soutiennent que le comportement « aimable mais correct » devrait être une exigence d'entraînement explicite plutôt qu'une préférence (Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks). Un entraînement qui récompense le fait de guider plutôt que de répondre — comme le fait le modèle de récompense DAPO d'EduQwen — est un levier structurel contre cela, mais la flagornerie contextuelle persiste après l'ingénierie des invites et l'alignement, les erreurs des apprenants continuant de se propager dans les conseils de l'IA (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

L'entraînement ne rend pas un modèle sûr au fil d'une longue conversation. SafeTutors montre que même des modèles pédagogiques spécialisés se dégradent sur un dialogue soutenu et peuvent commettre des préjudices de divulgation excessive de la réponse (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems), si bien que la sécurité pédagogique doit être testée à la longueur d'une conversation plutôt qu'au tour isolé.

La validation peut se substituer à l'entraînement — ou être exigée à sa place. Un GPT-4 de pointe non entraîné produisait environ 35 % d'indices trop généraux, incorrects ou révélant la réponse lorsqu'il rédigeait de la rétroaction pour un système de tutorat intelligent, et ses propres contrôles de qualité automatisés étaient désalignés du jugement humain ; les auteurs concluent que les grands modèles de langue n'ont pas de modèle interne de l'instruction et qu'une validation robuste ou un entraînement propre au domaine est nécessaire avant un usage sans supervision face aux apprenants (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models). L'implication pratique joue dans les deux sens : parfois la bonne réponse est une couche de validation plutôt qu'une passe d'entraînement, et parfois la validation est ce qui vous dit qu'une passe d'entraînement a échoué.

Votre évaluation mesure peut-être la mauvaise chose. C'est le piège le plus courant dans la littérature sur l'ajustement fin rapportée ici. ROUGE-L et QWK mesurent la similarité et le classement, et non l'exactitude dérivationnelle (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects) ; un ajustement fin peut atteindre un excellent QWK tandis que la rétroaction du même système est non analysable (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays) ; et un modèle peut classer correctement les étudiants tout en se trompant sur la probabilité que chacun ait besoin d'aide. Lorsque la cible est un construit, l'ajustement fin devrait être associé à un instrument qui mesure le construit — le résultat sur l'acheminement par confiance en est un bon modèle, puisqu'il convertit un nombre d'exactitude en une politique opérationnelle avec un humain dans la boucle (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment).

Une séquence pratique pour les développeurs éducatifs

Distillée des preuves ci-dessus, dans l'ordre qui évite le calcul gaspillé :

  1. Établissez une référence que vous pouvez battre, y compris une référence triviale. Le modèle sans recherche documentaire de l'étude sur l'assistant de cours obtenait un score inférieur à celui de TF-IDF. Consignez votre exactitude en ingénierie des invites seule avant d'envisager l'entraînement.
  2. Ajoutez la recherche documentaire avant les paramètres. Ancrer le modèle dans vos propres supports est le plus important gain peu coûteux rapporté ici (52,3 % → 66,6 %), et il est réversible.
  3. Concevez l'invite, et reconcevez-la de manière itérative. L'affinage guidé par un barème a fait passer l'accord de 54,75 % à 81,25 % sans aucun entraînement, et la génération d'items ne s'est améliorée qu'après que l'affinage des invites avait plafonné — ce plateau est votre signal que l'entraînement pourrait ajouter quelque chose.
  4. Ajustez finement lorsque la cible est un format stable, une propriété contrôlée, ou un domaine dont le modèle de base manque. LoRA sur quelques milliers d'exemples peut amener de petits modèles ouverts à la parité d'un correcteur humain, et un jeu de données d'instructions peut faire passer un modèle de 7B de près de zéro à 0,15 près d'une référence bien plus grande sur les dimensions propres à un domaine.
  5. Choisissez le rang et les couches délibérément, et attendez-vous à un comportement propre à l'architecture. Le gain par paramètre d'adaptateur chutait à mesure que le rang augmentait, l'adaptation à quatre couches a battu à la fois l'ajustement plus superficiel et l'ajustement fin pleine profondeur, et une famille de modèles s'est beaucoup améliorée tandis qu'une autre ne bougeait pas du tout.
  6. Utilisez le post-entraînement lorsque vous devez changer la manière dont le modèle enseigne. Récompensez le fait de guider plutôt que de répondre, et attendez-vous à ce que la récompense soit contournée — écrivez-la contre un repère, et non contre une intuition.
  7. Supervisez au niveau de l'étape. Un entraînement sur les seules réponses finales produisait une exactitude sur les idées fausses inférieure à 30 % à chaque taille de données.
  8. Gardez un humain dans la boucle là où la confiance est faible. Acheminer le cinquième de réponses le moins sûr a retiré environ 80 % du travail manuel tout en améliorant l'accord.
  9. Testez la sécurité sur des conversations entières. Les dialogues longs sont l'endroit où les modèles spécialisés se dégradent.
  10. Calibrez les attentes. Le choix du modèle et des invites ne rend compte que d'environ 15 % du désalignement avec les gains d'apprentissage ; une partie de ce que vous attendez de l'entraînement n'est pas disponible auprès de l'entraînement.

Questions ouvertes

  1. Le post-entraînement pédagogique se généralise-t-il d'une matière à l'autre, ou un ajustement propre à la matière est-il toujours nécessaire ?
  2. Le pipeline apprentissage par renforcement–SFT–apprentissage par renforcement peut-il être combiné à une mémoire longitudinale pour la personnalisation d'un trimestre à l'autre ?
  3. Quel est le plus petit ensemble de supervision qui enseigne encore le raisonnement pédagogique au niveau de l'étape, et peut-il être partagé entre institutions sans partager de données d'étudiants ?
  4. Comment l'évaluation des modèles éducatifs ajustés devrait-elle être standardisée, étant donné que des métriques de similarité peuvent être excellentes alors que le modèle est inutilisable ?

Connexions aux concepts liés

Cette page est le pendant comment un modèle est fabriqué de la page Grands modèles de langue (LLM), qui couvre ce que sont les grands modèles de langue et comment ils se comportent. Elle se situe sous Technologies de l'IA comme le nœud entraînement-et-adaptation, à côté de RAG (génération augmentée par récupération) (l'alternative de la recherche documentaire qui vient généralement d'abord), de l'ingénierie des invites (le levier le moins coûteux) et de l'apprentissage par renforcement (la moitié apprentissage par renforcement du post-entraînement). Ses sorties alimentent l'tutorat intelligent et l'apprentissage adaptatif ; ses applications éducatives les plus courantes sont l'évaluation automatisée, la notation automatisée de dissertations et l'évaluation de la qualité de la rétroaction ; et ses parents conceptuels les plus proches sont l'TAL en éducation, la simulation d'étudiants, l'open source et la modélisation de l'apprenant. Les risques qu'il crée sont portés par la sécurité pédagogique, l'sycophancie de l'IA, le risque d'hallucination et la vie privée.

Concepts liés

Articles liés

FAQ liées

Métadonnées

NiveauHigher Ed, K 12
Public viséEducational Technology Developers, Software Developers, Instructional Designers, Researchers
Apprentissage et enseignementL'étayage
Technologies et techniquesL'IA générative, Grands modèles de langue (LLM), Tutorat intelligent, Apprentissage adaptatif, Apprentissage par renforcement, Open source, TAL éducatif
Méthodes de recherche et évaluationRéférentiel
Équité, éthique et usage responsableSécurité pédagogique
Fondements de l'IA dans l'éducationL'IA en éducation
SourceHistoryEditChat

Intégrer cette page

Copiez le code ci-dessous pour intégrer cette page dans un système de gestion de l'apprentissage ou un autre site. La version intégrée n'affiche que le contenu de la page : l'en-tête, la navigation et le pied de page du site sont masqués.