Comment rendre l'IA meilleure pour soutenir l'apprentissage dans notre propre discipline ?

Traduction automatique de la page anglaise, non encore relue par une personne de langue maternelle.

Un modèle généraliste répondra volontiers à la question d'un étudiant à sa place, et il ne sait rien de votre programme, de votre grille, ni des erreurs que vos étudiants commettent réellement. Combler cet écart est généralement présenté comme un problème d'entraînement. Dans cette base de connaissances, c'est surtout un problème d'ancrage et d'invite, et les preuves de cet ordre de priorité sont exceptionnellement directes : une étude sur un assistant de cours a trouvé que la recherche documentaire, et non le modèle, était la décision de premier ordre, et qu'un modèle généraliste sans ancrage obtenait un score inférieur à une simple référence TF-IDF.

L'entraînement est réel et parfois nécessaire, mais c'est la troisième ou la quatrième chose à essayer, non la première. Ce qui suit est l'échelle, dans l'ordre qui évite de gaspiller du calcul.

La version courte

Il y a cinq leviers, par ordre croissant de coût et d'engagement : l'invite (prompting), la recherche documentaire (retrieval) sur vos propres matériaux, l'adaptation économe en paramètres (LoRA et analogues), l'affinage complet, et le post-entraînement par signaux de préférence ou de récompense. Chaque échelon coûte plus de données, plus de calcul et plus de discipline d'évaluation que celui qui le précède, et chacun est un plus mauvais premier choix à moins qu'une mesure ne justifie la montée.

La littérature de recherche rapporte surtout le haut de cette échelle, ce qui explique qu'il soit facile de se tourner vers l'entraînement quand l'ancrage aurait suffi.

Étape 1 : obtenez une référence que vous pouvez réellement battre

Avant de changer quoi que ce soit, consignez ce que donne une simple invite. Puis consignez ce que donne une méthode triviale, car c'est le chiffre qui vous garde honnête.

L'étude sur l'assistant fondé sur une base de connaissances de cours mérite d'être lue pour cela seul. Un LLM local, sans recherche documentaire, a atteint 52.3% de précision. Une référence TF-IDF — une méthode lexicale vieille de plusieurs décennies — a atteint 55.4%. Le modèle faisait moins bien que la méthode classique.

Si vous sautez cette étape, vous ne pouvez pas dire si votre affinage a servi à quelque chose, et vous risquez de livrer quelque chose qu'une recherche par mots-clés bat.

Étape 2 : ancrez le modèle dans vos propres matériaux

L'ajout d'une génération augmentée par la recherche documentaire sur les matériaux de cours, sans aucun affinage, a fait passer ce même système de 52.3% à 66.6%. C'est le gain unitaire le plus important rapporté dans cette base de connaissances pour ce coût, et il est réversible : quand vos documents changent, vous réindexez plutôt que de réentraîner.

Deux autres résultats vont dans le même sens. Une revue PRISMA de 23 études empiriques sur la personnalisation de l'IA pour l'enseignement de la rédaction a trouvé une domination de l'ingénierie d'invite (N = 13), devant l'affinage (N = 7) (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). Et là où une base de connaissances doit rester à jour, la recherche documentaire est le seul levier qui reste à jour sans relancer un travail d'entraînement.

La recherche documentaire a aussi une forme pédagogique. Ancrer un modèle dans vos propres exemples résolus et vos grilles, c'est ce qui le maintient à l'intérieur de l'étayage que vous avez conçu, au lieu de dériver vers des conseils génériques.

Étape 3 : construisez l'invite contre une grille

Le travail sur l'invite n'est pas une étape préliminaire que l'on fait en attendant d'entraîner. Deux résultats montrent ici ce qu'il obtient à lui seul :

• Une invite guidée par une grille, affinée de façon itérative et collaborative, a fait passer l'accord LLM–humain sur les travaux de conception des étudiants de 54.75% à 81.25% (alpha de Cronbach 0.393 → 0.798), sans aucun affinage (From evaluation to emulation: LLMs as agents of iterative pedagogical design).
• Une invite personnalisée ancrée dans la littérature a fait émerger les conceptions erronées mathématiques visées avec une présence de 0.98, contre 0.40 pour une invite large (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).

Le signal pratique est le plateau. Dans l'étude sur la génération d'items, l'affinage itératif de l'invite a cessé d'améliorer, et l'affinage de GPT-4.1 sur l'invite optimisée a ensuite apporté le gain restant (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment). Un plateau après un véritable travail sur l'invite est votre preuve que l'entraînement pourrait apporter quelque chose. Se tourner vers l'entraînement avant d'avoir atteint ce plateau relève de la conjecture.

Étape 4 : adaptez le modèle quand la cible est stable et spécifique

L'adaptation paie quand vous avez besoin que le modèle tienne une propriété de façon fiable : un niveau de lecture, un format de sortie, un domaine qu'il ne possède pas. Le résultat récurrent est que cibler bat la taille.

• Trois modèles 8B affinés sur un programme de lecture pour enfants conçu par des experts ont surpassé GPT-4o et Llama 3.3 70B en zero-shot sur les métriques liées à la difficulté, avec des problèmes de sécurité négligeables. Les auteurs formulent cela comme un contrôlabilité plutôt que l'échelle (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).
• Un jeu de données d'instructions de 24,795 exemples ancré dans les Indian Knowledge Systems a produit un affinage 7B obtenant 6.39 auprès d'un panel externe de cinq juges, à 0.15 près d'un solide modèle généraliste de référence pour une fraction du coût de déploiement — alors que le même modèle de base obtenait un score proche de zéro sur les dimensions propres au domaine sans l'affinage (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). Cet écart entre « compétent en général » et « compétent ici » constitue tout l'argument en faveur de l'adaptation au domaine.
• Un unique adaptateur LoRA entraîné sur environ 3,900 exemples notés mutualisés a amené cinq petits modèles ouverts (4B–30B) à la parité ou au-delà d'un correcteur humain sur deux examens d'informatique (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). Un adaptateur, un jeu de données, plusieurs modèles de base : c'est la forme d'un déploiement qu'une petite équipe peut réellement faire tourner.

Notez le mot stable dans le titre. Le format, la grille, le niveau de lecture et le vocabulaire du domaine sont des cibles stables. La prose chargée de jugement ne l'est pas, et c'est là que l'adaptation échoue.

Étape 5 : changez sa manière de se comporter, pas seulement ce qu'il produit

L'adaptation apprend à un modèle quoi produire. Le post-entraînement lui apprend comment se comporter, et pour le tutorat cette distinction constitue tout le problème : les modèles généralistes sont post-entraînés sur la préférence humaine d'utilité, ce qui signifie répondre promptement, alors que l'enseignement exige de retenir la réponse.

C'est là que vivent les résultats éducatifs les plus solides. Le modèle de récompense d'EduQwen a explicitement privilégié les réponses guidantes plutôt que les réponses directes, et son pipeline en trois étapes a atteint 96.52% sur le benchmark CDPK contre 90.55% pour Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Le simulateur d'écriture SWIM est passé de l'invite fondée sur une grille (meilleur QWK 0.577) à l'affinage supervisé (0.474 ± 0.023) puis à l'apprentissage par renforcement (0.618 ± 0.005) sur chaque trait et chaque invite (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Un résultat dans ce domaine est facile à manquer et coûteux à ignorer : la qualité de la supervision bat la quantité de supervision. Des modèles à instruction n'ont appris les conceptions erronées en algèbre que lorsqu'ils étaient entraînés sur des traces de solution au niveau de l'étape ; entraînés sur les seules réponses finales, la précision restait inférieure à 30% à toutes les tailles de données (Misconception Acquisition Dynamics in Large Language Models). Si vos exemples d'entraînement sont des paires question–réponse correcte, vous entraînez la mauvaise chose.

Quand adapter le modèle n'aide pas

C'est la partie que l'enthousiasme omet généralement.

• Texte chargé de jugement. Dans WrAFT, le même projet qui avait affiné avec succès pour la notation de dissertations (QWK 0.84) a produit des sorties tronquées et impossibles à analyser lorsqu'il a affiné pour la rétroaction, alors qu'une sollicitation directe de Claude 3.7 produisait la rétroaction que les enseignants ont jugée la meilleure (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). L'affinage a appris au modèle à atteindre un score ; il ne lui a pas appris à écrire.
• L'échelle n'est pas un prédicteur fiable de la performance en aval sous adaptation LoRA, et des hyperparamètres identiques ont produit des comportements qualitativement différents selon les architectures (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models). Une recette qui a fonctionné sur un modèle n'est pas une recette.
• L'architecture peut compter plus que le nombre de paramètres. L'affinage de trois modèles ouverts texte-image sur 1,000 images d'ingénierie nucléaire légendées a sensiblement amélioré Stable Diffusion XL, a donné des gains limités pour SD-v3.5-Medium, et n'a produit aucune amélioration mesurable pour Flux.1 (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts).
• Parfois la réponse est la validation plutôt que l'entraînement. Un GPT-4 non entraîné, de pointe, a produit environ 35% d'indices trop généraux, incorrects ou révélant la réponse lorsqu'il rédigeait une rétroaction de tutorat, et ses propres contrôles de qualité automatisés n'étaient pas d'accord avec le jugement humain (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).

Ce que cela exige en pratique

Pour l'échelon de l'adaptation, la barre est plus basse que la plupart des équipes ne le supposent : quelques centaines à quelques milliers d'exemples et un seul GPU. LoRA entraîne un petit nombre de paramètres ajoutés et laisse les poids de base gelés, si bien que plusieurs modèles peuvent être servis à partir d'un unique adaptateur.

Le rang est un compromis plutôt qu'un bouton à maximiser : le gain par million de paramètres d'adaptateur a décru de façon monotone à mesure que le rang augmentait, et l'alignement au niveau du cours relevait d'une décision d'échelle et de rang plutôt que d'une mise à niveau gratuite (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). Les couches que vous adaptez constituent aussi un vrai choix — la mise à jour des quatre seules dernières couches Transformer d'un analyseur de discours fondé sur BERT a battu à la fois l'adaptation de la seule couche supérieure et l'affinage sur toute la profondeur (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model).

Le coût facile à sous-estimer est l'évaluation, non le calcul. Voir Comment savoir si une IA éducative fonctionne correctement, et pas seulement qu'elle obtient de bons scores ?.

Calibrez ce que vous attendez

Le choix du modèle et de l'invite n'expliquent ensemble qu'environ 15% du désalignement entre les LLM et les gains d'apprentissage des étudiants, et dans cette étude la pondération par benchmark et les ensembles par vote unanime rendaient l'alignement pire (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). Les données de pré-entraînement sont le levier dominant sur le comportement d'un modèle, et c'est le seul levier que vous ne pouvez pas actionner.

Ce n'est pas un argument contre le travail décrit ci-dessus. C'est un argument contre l'attente qu'un affinage règle un problème de conception. Si le problème est que votre tuteur répond trop volontiers, l'entraînement peut y remédier. Si le problème est que vos apprenants ne s'y engagent pas, l'entraînement n'y remédiera pas.

Un ordre de décision en peu d'étapes

1. Consignez une référence avec simple invite, y compris une référence triviale. 2. Ajoutez la recherche documentaire sur vos propres matériaux. 3. Construisez l'invite de façon itérative contre votre grille, et surveillez le plateau. 4. Adaptez le modèle avec LoRA quand la cible est un format, une grille, un niveau ou un domaine stable. 5. Ne post-entraînez que lorsque vous devez changer sa manière de se comporter, et écrivez la récompense contre un benchmark, car elle sera contournée. 6. Supervisez au niveau de l'étape, non au niveau de la réponse. 7. Gardez un humain dans la boucle là où la confiance est faible. 8. Testez la sécurité sur des conversations entières, non sur des tours isolés.

Questions liées

• Comment entraîner un tuteur d'IA à guider les étudiants plutôt qu'à leur répondre ? — la moitié post-entraînement, en détail
• Comment savoir si une IA éducative fonctionne correctement, et pas seulement qu'elle obtient de bons scores ? — comment dire si tout cela a fonctionné
• Quelles sont les bonnes pratiques pour développer un tuteur d'IA efficace ? — le versant conception d'interaction du même objectif
• Quelles sont les bonnes pratiques et les conseils pour concevoir des logiciels d'IA éducative efficaces ?
• Entraînement et ajustement fin des grands modèles de langue — la page de concept complète