AIEd-WissensbasisAIEd KB
Auf dieser Seite

Diese Seite wurde maschinell ins Deutsche übersetzt; die Artikelseiten sind weiterhin auf Englisch verfasst. Diese Seite auf Englisch lesen

Konzepte

LLM-Training und Feinabstimmung

Erstellt 2026-05-07 · Aktualisiert 2026-10-10

Dies ist eine automatische Übersetzung der englischen Seite; sie wurde noch nicht von einer muttersprachlichen Person geprüft.

LLM-Training und Feinabstimmung — wie Bildungs-KI-Modelle gemacht werden: die Pipeline von Vortraining über Post-Training bis zur Anpassung, was jede Stufe kostet, und was die Evidenz sagt, dass sie einbringt. Das organisierende Problem ist eine Anreiz-Fehlausrichtung: allgemeine Modelle sind darauf optimiert zu antworten, während Lehren erfordert, die Antwort zurückzuhalten. Post-Training und Feinabstimmung sind die zwei Hebel, die dieses Verhalten ändern, und das klarste Ergebnis der Wissensbasis ist, dass sie eine dritte Wahl sind, nicht die erste — Abruf und Prompting kommen früher in der Entscheidung, und eine Studie hier fand überwachtes Feinabstimmen an einer Aufgabe scheiternd, bei der schlichtes Prompting gewann (WrAFT). Geschrieben für Entwickelnde von Bildungssoftware und lehrende Praktiker, die entscheiden, was sie damit bauen.

Fragen zum Nachdenken

  • Wenn Sie eine Tutoring-Aufgabe haben, bei der ein allgemeines Modell zu bereitwillig antwortet, ist Ihr erster Zug ein besserer Prompt, Abruf über Ihre eigenen Materialien oder Training? Was müssten Sie messen, um zu sagen, welches geholfen hat?
  • Feinabstimmung braucht Daten. Woher kämen die Trainingsbeispiele Ihres Projekts, wem gehören sie, und welche Datenschutzprüfung bräuchten sie, bevor sie genutzt werden könnten?
  • Eine Studie hier fand, dass Feinabstimmung eines Modells auf Assessment-Daten Formatierung und Ähnlichkeit verbesserte, während eine separate Feinabstimmung bei der Erzeugung von Feedback rundheraus scheiterte. Was legt das nahe über das Abstimmen der Trainingsmethode auf die Aufgabe?
  • Post-Training mit bestärkendem Lernen kann einem Modell beibringen, anzuleiten statt zu antworten. Welche Belohnung würden Sie schreiben, um „leitet gut an“ zu erfassen, und wie würde ein Modell sie austricksen?
  • Die Wissensbasis berichtet, dass Modell- und Promptwahl nur etwa 15 % der Lücke zwischen einem LLM und Lerngewinnen der Studierenden ausmachen. Wenn das stimmt, wie sollte es Ihre Bauen-statt-Kaufen-Entscheidung verändern?
  • Ein feinabgestimmtes Modell, das genau ist, kann über ein langes Gespräch hinweg trotzdem unsicher sein. Was würden Sie testen, bevor Sie eines unbeaufsichtigt mit Studierenden sprechen lassen?

Einführung

Entwicklung von Bildungs-KI läuft aus zwei Richtungen auf dieselbe Wand. Allgemeine Sprachmodelle sind auf menschliche Präferenz für Hilfsbereitschaft nachtrainiert, was in der Praxis bedeutet, prompt und vollständig zu antworten; Tutoring erfordert das Gegenteil, weil das pädagogische Ziel ist, einer Studentin zu helfen, die Antwort zu erreichen, statt sie zu überreichen. Gleichzeitig weiß ein allgemeines Modell nichts über Ihr Curriculum, Ihre Rubrik oder die Stimme Ihrer Institution, und keine Menge an Prompt-Engineering installiert die verlässlich.

Diese Seite behandelt die Techniken, die ein Modell verändern statt den Text, den Sie senden. Sie sitzen auf einer Leiter zunehmender Bindung: Prompting, dann Abruf, dann parametereffiziente Anpassung, dann volle Feinabstimmung, dann Post-Training mit Präferenz- oder Belohnungssignalen. Jede Sprosse kostet mehr Daten, mehr Rechenleistung und mehr Evaluationsdisziplin als die letzte, und jede ist eine schlechtere erste Wahl als die Sprosse darunter, es sei denn, eine spezifische Messung rechtfertigt den Aufstieg. Viel der Forschungsliteratur berichtet nur die Spitze dieser Leiter, was es für einen Entwickelnden leicht macht, nach Training zu greifen, wenn Abruf genügt hätte.

Die Seite ist um die Entscheidungen organiert, denen ein Bauender tatsächlich gegenübersteht: welchen Hebel ziehen (dieser Abschnitt und der nächste), was Anpassung in der Praxis einbringt und kostet, was Post-Training formen kann, das Anpassung nicht kann, und wie diese Systeme scheitern. Terminologie wird in ihrem Standardsinn verwendet: Vortraining ist die Stufe von Grund auf auf einem allgemeinen Korpus, Post-Training ist alles danach, das Verhalten formt (überwachte Feinabstimmung, Präferenzoptimierung, bestärkendes Lernen), und Feinabstimmung umfasst sowohl die überwachte Stufe des Post-Trainings als auch die spätere Aufgaben- oder Domänenanpassung, einschließlich parametereffizienter Methoden.

Die Trainingspipeline, Stufe für Stufe

Drei Stufen, mit sehr unterschiedlicher Zugänglichkeit. Zu wissen, welche eine Arbeit beschreibt, verhindert die meisten Fehllesungen dieser Literatur.

Vortraining baut ein Basismodell aus einem allgemeinen Textkorpus. Es ist die Stufe, die die breite Fähigkeit des Modells erzeugt, und sie ist für praktisch jedes Bildungsprojekt außer Reichweite: die Kosten sind in Millionen Dollar gemessen und die Daten sind ein Web-Maßstab-Crawl. Nichts in dieser Wissensbasis tut es. Ihre Relevanz für Praktiker ist diagnostisch statt umsetzbar — Vortrainingsdaten sind der dominante Hebel darauf, wie sich ein Modell verhält, und es ist der eine Hebel, den Sie nicht ziehen können. Jene Asymmetrie ist der Grund, warum alle verbleibenden Techniken des Feldes auf einem bereits trainierten Modell operieren.

Post-Training formt Verhalten auf dem Basismodell. Überwachte Feinabstimmung (SFT) lehrt das Modell, Demonstrationen zu imitieren; Präferenzoptimierung und bestärkendes Lernen drücken es dann hin zu Ausgaben, die ein Belohnungsmodell oder eine Menge menschlicher Urteile höher bewertet. Das ist die Stufe, auf der ein Modell gelehrt werden kann, anzuleiten statt zu antworten, und es ist, wo die frappierendsten Bildungsergebnisse leben. Es ist auch die Stufe, die am empfindlichsten auf Belohnungsdesign reagiert, weil eine Belohnung eine komprimierte Spezifikation dessen ist, was Sie wollen, und Modelle optimieren, was immer Sie tatsächlich geschrieben haben.

Anpassung passt ein bestehendes Modell an Ihre Aufgabe oder Domäne an, meist mit weit weniger Daten und Rechenleistung. Parametereffiziente Feinabstimmung (PEFT), deren übliche Form LoRA ist, trainiert eine kleine Zahl hinzugefügter Parameter und lässt die Basisgewichte eingefroren. Volle Feinabstimmung aktualisiert alles. Destillation und Unlearning sitzen neben ihnen. Die Abschnitte unten nehmen jedes der Reihe nach. Für die meisten Bildungsentwickelnden ist dies die praktische Stufe — die, auf der ein paar hundert bis ein paar tausend Beispiele und eine einzige GPU ein einsetzbares Modell erzeugen können.

Prompt, abrufen oder trainieren? Die Entscheidung, die zuerst kommt

Das stärkste einzelne Ergebnis in dieser Wissensbasis zu jener Frage ist eine Abrufstudie, keine Trainingsstudie. Beim Bau eines Kurs-Wissensbasis-Assistenten evaluierten Shen et al. (2026) lokale Modelle in drei Konfigurationen und fanden, dass Abruf, nicht das Modell, die erstordentliche Designentscheidung ist: ihr lokales LLM ohne Abruf erreichte nur 52,3 % Genauigkeit, unter einer TF-IDF-Baseline von 55,4 %, während das Hinzufügen von retrieval-augmented generation ohne jede Feinabstimmung es auf 66,6 % hob (Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources). Die Feinabstimmungs-Konfigurationen, die sie ebenfalls testeten, werden neben Abruf-Ablationen, Quantisierung und Energie pro Abfrage berichtet, was den Vergleich ungewöhnlich ehrlich macht: ein Basismodell ohne Grundierung kann schlechter sein als eine jahrzehntealte lexikalische Methode, und die günstigste Lösung ist nicht Training.

Was das Feld tatsächlich baut, spiegelt eine ähnliche Ordnung. Ein PRISMA-geleitetes Review von 23 empirischen Studien (2020–2025) zur Anpassung von KI für Schreibinstruktion fand Prompt-Engineering dominant (N = 13), vor Feinabstimmung (N = 7) und hybriden Architekturen (N = 3) (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). Der schärfere Befund des Reviews ist eine strukturelle Fehlausrichtung statt einer Technikreihung: angegebene pädagogische Ziele haben sich hin zu Schreibprozessen, Feedback-Kompetenz und akademischen Fähigkeiten höherer Ordnung bewegt, während die dominanten Implementierungen noch produktfokussierte Ziele über Prompt-Design oder Feinabstimmung verfolgen.

Wo Prompting und Training Kopf an Kopf verglichen wurden, hängt das Ergebnis von der Aufgabe ab, was genau der Grund ist, warum die Entscheidung gemessen statt angenommen werden sollte:

  • Training gewinnt, wenn das Ziel ein stabiles Ausgabeformat oder eine kontrollierte Eigenschaft ist. Bei der automatischen Item-Erzeugung für L2-Hör-Assessment plateauierte iterative Prompt-Verfeinerung, und Feinabstimmung von GPT-4.1 auf den optimierten Prompt verbesserte dann die Erzeugung über Prompting allein hinaus — was Modellanpassung statt Prompt-Design als den Treiber des verbleibenden Gewinns isoliert (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment).
  • Prompting gewinnt, wenn das Ziel urteilsbeladener Text ist. Dasselbe System, das für Bewertung erfolgreich feinabstimmte, scheiterte bei Feedback: in WrAFT erreichte ein feinabgestimmtes GPT-4o-Modul QWK 0,84 und RMSE 0,44 auf 360 zurückgehaltenen TOEFL-Aufsätzen, aber überwachte Feinabstimmung für Feedback-Erzeugung erzeugte abgeschnittene und unparsebare Ausgabe, während direktes Prompting von Claude 3.7 das Feedback erzeugte, das Lehrkräfte am besten bewerteten (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). Feinabstimmung lehrte das Modell, einen Score zu treffen; sie lehrte es nicht zu schreiben.
  • Promptseitige Formung kann für Training einspringen, wenn das Ziel eine Persona oder eine Rubrik ist. Rubrikgeleitetes Prompting, iterativ mitverfeinert, erhöhte die LLM-Mensch-Übereinstimmung bei Designarbeit der Studierenden von 54,75 % auf 81,25 % (Cronbachs Alpha 0,393 → 0,798) ohne jede Feinabstimmung (From evaluation to emulation: LLMs as agents of iterative pedagogical design), und ein literaturgeerdeter Custom-GPT-Prompt lockte mathematische Ziel-Fehlvorstellungen bei 0,98 Präsenz gegenüber 0,40 bei einem breiten Prompt hervor (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).
  • Es gibt eine Obergrenze für alles davon. Hardy und Kim (2026) schätzen, dass Modell- und Promptwahl zusammen nur etwa 15 % der Fehlausrichtung zwischen LLMs und Lerngewinnen der Studierenden ausmachen, wobei der Rest über Modelle hinweg geteilt ist, und sie fanden, dass Benchmark-Gewichtung und Ensemble mit einstimmiger Abstimmung die Ausrichtung schlechter machten (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). Wenn Vortrainingsdaten der dominante Hebel sind und es der eine ist, den Sie nicht ziehen können, dann sollten Erwartungen an das, was jede dieser Techniken erreichen kann, entsprechend kalibriert werden.

Was Feinabstimmung einbringt: Kontrollierbarkeit über Skala

Wenn ein allgemeines Modell nicht dazu gebracht werden kann, eine Eigenschaft zu halten, die Sie brauchen, kann Feinabstimmung auf einem bescheidenen Datensatz es oft — und das wiederkehrende Ergebnis ist, dass Zielen Skala schlägt. Drei 8B-Modelle, feinabgestimmt auf ein expertengestaltetes Kinderlese-Curriculum, übertrafen Zero-Shot-GPT-4o und Llama 3.3 70B bei schwierigkeitsbezogenen Kennzahlen, mit vernachlässigbaren Sicherheitsproblemen. Die Autoren rahmen dies als Kontrollierbarkeit über Skala, da ein kompaktes Modell auf eine bestimmte Lesestufe und ein Fehlermuster getunt werden kann, auf Weisen, auf die ein allgemeines Modell nicht darum gebeten werden kann (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).

Das Muster wiederholt sich über sehr unterschiedliche Aufgaben hinweg:

  • Curriculum-Verankerung. Ein multilingualer Instruktionsdatensatz mit 24,795 Beispielen, geerdet in Indian Knowledge Systems, erzeugte eine 7B-Feinabstimmung mit 6,39 auf einem externen Panel von fünf Juroren (Median über 1,201 stratifizierte Items). Das ist innerhalb 0,15 eines starken allgemeinen Referenzmodells bei einem Bruchteil der Einsatz-Kosten — während dasselbe Basismodell ohne die Feinabstimmung nahe null bei IKS-spezifischen Dimensionen erzielte (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). Jene Lücke zwischen „allgemein kompetent“ und „hier kompetent“ ist der ganze Fall für Domänenanpassung. Vermerken Sie auch das kontraintuitive Detail, das die Autoren berichten: Qualität stieg nicht monoton mit Datenkuratierung.
  • Assessment-Zuverlässigkeit, günstig. Ein einzelner LoRA-Adapter, trainiert auf etwa 3.900 gepoolten benoteten Beispielen, brachte fünf kleine offene Modelle (4B–30B) auf Parität oder besser mit einem menschlichen Bewertenden über zwei Informatik-Klausuren hinweg, und löschte Persona-Empfindlichkeit fast aus (Drift ≤ 0,32 MAE) (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). Ein Adapter, ein Datensatz, mehrere Basismodelle — das ist die Gestalt eines praktischen Einsatzes.
  • Selektive Automatisierung. Konfidenz war ein verlässlicher Prädiktor für Bewertungsfehler (β = −0,602, p < .001). Die 20 % am wenigsten konfidenten Antworten an menschliche Prüfung zu routen, bewegte ein feinabgestimmtes GPT-3.5-Modell von r = 0,781 auf r = 0,822 (RMSE 0,5990 → 0,5544), während es manuelle Bewertungsarbeit um etwa 80 % senkte (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment). Feinabstimmung ersetzt hier den Menschen nicht; sie macht die Aufmerksamkeit des Menschen bezahlbar.
  • Konstrukte messen, die Sie sonst von Hand bewerten würden. Feinabgestimmte ungarische Transformer (hubert-base-cc, PULI-BERT-Large) wurden gegen TF-IDF-Merkmale und Qwen3-Einbettungen für die Bewertung reflektierenden Schreibens in der Lehrkräftebildung gebenchmarkt (Automatic Reflection Level Classification in Hungarian Student Essays), und ein feinabgestimmtes multimodales Modell (auf Qwen3.5 basierend) wurde gezeigt, Item-Charakteristik-Kurven für Multiple-Choice-Items zu rekonstruieren, wobei es die in 3PL- und MCM-Kurven kodierten Antwortmuster lernt statt sie gesagt zu bekommen (Multimodal Item Parameter Estimation using Simulated Response Probabilities).

Parametereffiziente Anpassung in der Praxis

LoRA und seine Verwandten sind, wo die meisten Bildungsteams tatsächlich arbeiten werden, und die Literatur enthält ungewöhnlich spezifische Anleitung dazu, wie sie sich verhalten.

Rang ist ein Trade-off, kein zu maximierender Regler. Lu et al. (2026) bauten 360 System-Nutzer-Assistent-Dialoge aus einem Kurs über lineare Regelsysteme, strukturierten Antworten in ein Lösung-Methode-Lehrpunkte-Format um und wandten LoRA auf Qwen2.5-3B und 7B bei Rängen 4, 8 und 16 an. Die Abdeckung strukturierter Ausgabe bewegte sich von nahe null bei Basis auf etwa 1,00, und die beste Konfiguration (7B, r = 16) erreichte ROUGE-L 0,4093 mit Bootstrap-Konfidenzintervallen für den Gewinn gänzlich über null. Aber der Gewinn pro Million Adapter-Parameter fiel monoton, während der Rang stieg, daher ist Ausrichtung auf Kursebene ein Skala-und-Rang-Trade-off statt eines kostenlosen Upgrades (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). Ihre Kennzahlen messen Ähnlichkeit und Formatierung, nicht Ableitungsgenauigkeit, was der Standardvorbehalt für diese ganze Familie von Evaluationen ist.

Skala sagt Erfolg nicht vorher, und identische Einstellungen verhalten sich unterschiedlich über Architekturen hinweg. AiAWE, ein Open-Source-System automatischer Schreibbewertung, gebaut auf einem LoRA-angepassten Gemma-3-27B-it, erreichte RMSE 0,474, QWK 0,828 und Übereinstimmung innerhalb ±0,5 des menschlichen Scores bei 90,56 % von 360 Evaluationsaufsätzen, übertraf LLaMA-3.3-70B und eine feinabgestimmte GPT-3.5-Baseline — während es auf einem Server der Verbraucherklasse lief. Drei breitere Befunde zählen mehr als der Score: Modellskala war kein verlässlicher Prädiktor für nachgelagerte Leistung unter LoRA-Anpassung, identische LoRA-Hyperparameter erzeugten qualitativ unterschiedliche Anpassungsverhalten über Architekturen hinweg, und ein gut getuntes offenes Modell mittlerer Größe kann mit proprietären Systemen konkurrenzfähig sein (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models).

Welche Schichten anzupassen sind, ist eine echte Entscheidung. In einem Diskursanalyse-System für den Englischunterricht schlug Feinabstimmung eines gekürzten BERT durch Aktualisierung nur der letzten vier Transformer-Schichten beide Alternativen: nur die oberste Schicht anzupassen traf eine niedrigere Obergrenze, und volle 12-Schichten-Feinabstimmung überpasste und oszillierte (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model).

Die Basisarchitektur kann mehr zählen als die Parameterzahl. Feinabstimmung dreier offener Text-zu-Bild-Modelle auf 1.000 beschrifteten Bildern aus dem Kerntechnik-Ingenieurwesen verbesserte Stable Diffusion XL erheblich, gab begrenzte Gewinne für SD-v3.5-Medium und erzeugte keine messbare Verbesserung für das Flow-Matching-Modell Flux.1 überhaupt (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts). Ein Feinabstimmungs-Rezept ist nicht über Architekturen hinweg portierbar, was dieselbe Lektion ist, die AiAWE aus der anderen Richtung berichtet.

Zwei benachbarte Techniken runden die Anpassungsstufe ab. Destillation komprimiert ein großes oder Black-Box-System in ein kleines einsetzbares. Eine zweistufige Pipeline destillierte einen gefitteten Black-Box-ML-Schätzer und seine post-hoc Interpretation in ein kleines offen-gewichtiges LLM, wobei ein 2B-Parameter-„Mentee“ nahezu verlustfreie Wiederherstellung der Oracle-Effektfläche erreichte (r > .90). Jenes Ergebnis wird unter einer Treue-zuerst-Evaluation berichtet, die jede Erzählung gegen die Attribution prüft, die sie zu beschreiben behauptet (Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics). Unlearning entfernt zielgerichtete Inhalte nach dem Training: gradientenbasiertes Unlearning wurde auf drei Modelle angewandt, um PII und schädliche Inhalte zu entfernen, getestet in zwei Entfernungsordnungen (PII-zuerst und Schädlicher-Inhalt-zuerst) (Balancing AI responsibility with privacy, safety, and utility: Unlearning in large language models for mathematics education) — das relevante Werkzeug, wenn ein Modell etwas auswendig gelernt hat, das es nicht tragen sollte.

Post-Training: Verhalten formen, nicht bloß Format

Anpassung lehrt ein Modell, was es produzieren soll; Post-Training lehrt es, wie es sich verhalten soll. Das ist, wo die pädagogischen Ergebnisse am frappierendsten sind, und wo das Design des Belohnungs- oder Präferenzsignals alles entscheidet.

Das Pipeline-Ergebnis. Singh et al. (2026) verwandelten Qwen3-32B in EduQwen durch drei Stufen — anfängliches RL, synthetisches SFT, abschließendes RL — und erreichten 96,52 % auf dem CDPK-Benchmark und übertrafen Gemini-3 Pro bei 90,55 %. Die Zwischenergebnisse sind der lehrreiche Teil: die erste RL-Stufe allein erreichte 94,13 %, SFT auf 40,000 selbstgenerierten Antworten brachte sie auf 96,20 %, und die abschließende RL-Runde fügte den letzten Bruchteil hinzu. Das Belohnungsmodell priorisierte anleitende Antworten über direkte Antworten, Mining harter Negativer schloss Fragen aus, die das Basismodell bereits löste, und Rollouts wurden von 5 auf 8 Schritte erweitert, um mehrstufige pädagogische Entscheidungen zu erfassen (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Demgegenüber fand der Pedagogy Benchmark — gezogen aus echten Prüfungen professioneller Entwicklung von Lehrkräften über 97 Modelle — Genauigkeiten von 28 % bis 89 %, ein Beleg dafür, dass pädagogisches Wissen nicht beiläufig während allgemeinen Vortrainings erworben wird (Lelièvre et al., 2025).

Die Entscheidung trainieren statt die Äußerung. TACT post-trainierte einen Tutor auf eine Taxonomie mit 13 Strategien plus eine Taxonomie von Studierenden-Zügen über zwei Achsen und gewann 20,30 Punkte gegenüber seinem Qwen3.5-4B-Rückgrat, mit einem diagnostischen Benchmark, der die während des Trainings verfügbaren Lernzustands-Labels zurückhält, sodass das Modell den Zustand aus dem Dialog erschließen muss (TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring). Dieselbe Logik erscheint in Special-R1 für Sonderpädagogik-Ausrichtung (Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training) und in heuristischer-RL-Arbeit, die Modelle als sokratische Anleiter statt Antwortende ausrichtet (Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning). Post-Training muss nicht bloß formen, was das Modell sagt: eine Plattform paart einen bewachten Tutoring-Chatbot mit einem Agenten bestärkenden Lernens, der das nächste Übungsproblem wählt, sodass die trainierte Policy entscheidet, was die Lernende als Nächstes tut (Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning).

Destillierte Schlussfolgermodelle. Eine günstigere Route zu pädagogischem Verhalten ist, ein kleines Modell zu lehren, ein größeres zu imitieren: Pedagogy-R1 (1,5B und 7B) wurde auf pädagogisch gefilterte Ausgaben instruction-getunt, die aus einem QwQ-32B-Lehrer destilliert waren, gepaart mit Chain-of-Pedagogy-Prompting (Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark).

Instruktionskonditioniertes Post-Training versus authentische Daten. LearnLM rahmt Bildungsmodell-Training als pädagogisches Instruktionsbefolgen neu, wobei es System-level-Instruktionen trägt, die es Entwickelnden und Lehrkräften erlauben, Tutor-Verhalten zu spezifizieren, ohne sich auf eine Definition von Pädagogik festzulegen. Es wird durch Mit-Training in Geminis Post-Training-Stufen gemischt, und Experten bevorzugten es gegenüber GPT-4o (+31 %), Claude 3.5 Sonnet (+11 %) und Basis Gemini 1.5 Pro (+13 %). Der zentrale Befund ist, dass RL wesentlich wirksamer ist als SFT allein, um nuancierten pädagogischen Instruktionen in langen Gesprächen zu folgen (LearnLM: Improving Gemini for Learning). TeachLM setzt auf das Gegenteil: dass Prompt-Engineering ein Provisorium ist und die knappe Zutat authentische Lernender-Tutor-Interaktionsdaten sind. Trainiert auf 100,000 Stunden Einzelsitzungen unter strenger Anonymisierung, verdoppelt es die Sprechzeit der Studierenden, verbessert den Fragestil und erhöht Dialogzüge um 50 % (TeachLM: Post-Training LLMs for Education Using Authentic Learning Data). Zusammen definieren sie den Designraum: instruktionskonditioniertes Post-Training, wenn Ihre Daten knapp sind, Feinabstimmung auf echte Tutoring-Interaktionen, wenn Sie sie haben.

Supervisionsqualität schlägt Supervisionsmenge. SWIMs Progression für einen Schreib-Simulator ist die sauberste Demonstration. Rubrikgeerdetes Prompting gab begrenzte Kontrolle der Kompetenz (beste durchschnittliche Trait-QWK 0,577 für Claude Sonnet, 0,422 für GPT-5.4, nahe null für ein offenes 7B-Modell); überwachte Feinabstimmung hob jenes 7B-Modell auf 0,474 ± 0,023. GRPO gegen eine aus automatisierter Aufsatzbewertung abgeleitete Belohnung hob sie weiter auf 0,618 ± 0,005 über jedes Trait und jeden Prompt, wobei die Belohnung als dichte trait-normalisierte Genauigkeit gestaltet war, weil Exakt-Match-Belohnungen im Multi-Trait-Setting zu spärlich sind (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation). Die Studie zur Fehlvorstellungs-Modellierung erreicht eine schärfere Schlussfolgerung darüber, was die Supervision enthalten muss: instruction-getunte Modelle lernten Algebra-Fehlvorstellungen nur, wenn sie auf Lösungsspuren auf Schrittebene trainiert wurden, wobei die Genauigkeit bei Training auf alleinige Endantworten bei unter 30 % bei jeder Datenmenge blieb. Seine Studierendenrolle verallgemeinerte den gelernten Fehler über, bis korrekte Beispiele explizit bei Verhältnissen von nur eins zu vier eingemischt wurden, während die Tutorrolle keine solche Kosten zeigte und korrekte Genauigkeit von 93 % bis 98 % über zehn gemeinsam trainierte Fehlvorstellungen hielt (Misconception Acquisition Dynamics in Large Language Models).

Die Trainingsdaten sind selbst etwas, das Modelle kuratieren können: Edu-QuRating passt Präferenzdestillation an die Kuratierung von Bildungsdaten an und ersetzt einen einzelnen Score „ist das Bildungsinhalt?“ durch 20 Rubrikdimensionen, die faktische Genauigkeit, pädagogische Struktur und Niveaueignung abdecken (Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements).

Theorie kann ein Trainingsgerüst sein. Für Agenten, die Instruktionssystemdesign automatisieren, übertraf ein Hybrid aus klassischen ADDIE- und Dick-&-Carey-Frameworks mit ReAct-artigem Schlussfolgern sowohl reine Theorie (strukturiert, aber unflexibel) als auch Nur-Technik-Agenten (flexibel, aber ungeerdet), über 25,795 Szenarien aus einer Kontextmatrix mit 51 Variablen mit einem Multi-Juror-Protokoll, um Bias durch LLM-als-Juror zu reduzieren (ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents). Und eine Studie zu Supervisions-Labels fand, dass jedem Trainingsbeispiel ein Zielverhalten zuzuweisen — Fachkompetenz, Curriculum-Verankerung, diagnostisches Schlussfolgern oder Scaffolding — jede getestete Modellskala anhob, mit den größten Gewinnen bei Scaffolding und beim Nutzen der Geschichte einer Lernenden, während Wissenszustands-Diagnose am schwächsten bei 54,04 % blieb (OmniEdu: Open Foundation Models for Learning and Teaching).

Die Lernendenseite trainieren, nicht nur den Tutor

Dieselbe Maschinerie wird zunehmend auf das Simulieren von Studierenden gerichtet, was die Ökonomie der Evaluation eines Tutors verändert: statt Lernende zu rekrutieren, erzeugen Sie sie.

Die Mahnung zur Vorsicht ist, dass simulierte Studierende wie jedes andere Instrument validiert werden müssen. Benchmarking feinabgestimmter und geprompteter Modelle auf 382 zurückgehaltenen Dialogen aus dem größten öffentlichen Korpus echter Studierenden-Tutor-Mathematikdialoge — über sieben Kennzahlen überspannend linguistische, verhaltensbezogene und kognitive Aspekte — erzeugte den direktesten Test des Feldes dafür, ob simulierte Studierende sich wie Studierende verhalten (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Zwei weitere Ansätze drücken auf Treue: INSIDE feintunt LLMs, um sowohl wie Studierende zu handeln als auch zu denken, und erzeugt inneren Dialog, geerdet in Blooms Taxonomie über kognitive, affektive und Handlungsdimensionen, und trainiert auf gepaarten Denk-Spuren und Handlungen (INSIDE the Student's Mind: Jointly Modeling Latent Reasoning and Action in LLM Student Simulators), und geschichtsbewusste Profile konditionieren Simulation auf die frühere Trajektorie einer Studentin statt auf eine statische Persona (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues). Für einen Entwickelnden ist die praktische Lektion, dass ein Simulator ein Messinstrument ist und jede Validitätsfrage erbt, die das impliziert.

Was schiefgeht

Sykophantie ist ein Trainingsziel, keine Usability-Einstellung. Tutoring erfordert korrigierende Reibung, und Modelle widerstehen ihr. EduFrameTrap zeigt, dass Modelle, die Kontextwechsel-Angriffen widerstehen, dennoch unter Autoritäts- oder sozial-affektivem Druck kapitulieren und korrigierendes Feedback zurückhalten, weshalb seine Autoren argumentieren, „freundlich-aber-richtig“-Verhalten solle eine explizite Trainingsanforderung sein statt einer Präferenz (Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks). Training, das Anleiten über Antworten belohnt — wie EduQwens DAPO-Belohnungsmodell es tut —, ist ein struktureller Hebel dagegen, aber kontextuelle Sykophantie besteht nach Prompting und Ausrichtung fort, wobei Fehler der Lernenden noch in KI-Ratschläge propagieren (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Training macht ein Modell nicht über ein langes Gespräch hinweg sicher. SafeTutors zeigt, dass selbst spezialisierte pädagogische Modelle über anhaltenden Dialog hinweg degradieren und Schaden durch Überoffenlegung von Antworten begehen können (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems), daher muss pädagogische Sicherheit auf Gesprächslänge getestet werden statt auf dem einzelnen Zug.

Validierung kann für Training einspringen — oder stattdessen erforderlich sein. Ein frontier-ungetrainetes GPT-4 produzierte etwa 35 % zu allgemeine, inkorrekte oder Antworten offenlegende Hinweise beim Verfassen von Feedback für ein intelligentes Tutoringsystem, und seine eigenen automatisierten Qualitätsprüfungen waren falsch ausgerichtet mit menschlichem Urteil; die Autoren schlussfolgern, dass LLMs ein internes Modell von Instruktion fehlt und dass robuste Validierung oder domänenspezifisches Training nötig ist vor unbeaufsichtigter Nutzung durch Lernende (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models). Die praktische Implikation schneidet beidseitig: manchmal ist die richtige Antwort eine Validierungsschicht statt eines Trainingslaufs, und manchmal ist Validierung, was Ihnen sagt, dass ein Trainingslauf gescheitert ist.

Ihre Evaluation misst möglicherweise das Falsche. Das ist die häufigste Falle in der Feinabstimmungs-Literatur hier. ROUGE-L und QWK messen Ähnlichkeit und Ranking, nicht Ableitungsrichtigkeit (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects); eine Feinabstimmung kann exzellentes QWK erreichen, während das Feedback desselben Systems unparsebar ist (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays); und ein Modell kann Studierende korrekt reihen, während es darüber falsch liegt, wie wahrscheinlich jede Hilfe braucht. Wo das Ziel ein Konstrukt ist, sollte Feinabstimmung mit einem Instrument gepaart werden, das das Konstrukt misst — das Konfidenz-Routing-Ergebnis ist eine gute Vorlage, da es eine Genauigkeitszahl in eine Betriebspolicy mit einem Menschen im Loop konvertiert (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment).

Eine praktische Sequenz für Bildungsentwickelnde

Destilliert aus der Evidenz oben, in der Ordnung, die verschwendete Rechenleistung vermeidet:

  1. Eine Baseline etablieren, die Sie schlagen können, einschließlich einer trivialen. Das No-Abruf-Modell der Kurs-Assistenten-Studie erzielte unter TF-IDF. Protokollieren Sie Ihre Nur-Prompt-Genauigkeit, bevor Sie Training erwägen.
  2. Abruf vor Parametern hinzufügen. Das Modell in Ihren eigenen Materialien zu gründen ist der günstigste große Gewinn, der hier berichtet wird (52,3 % → 66,6 %), und er ist reversibel.
  3. Den Prompt konstruieren, und ihn iterativ neu konstruieren. Rubrikgeleitete Verfeinerung bewegte Übereinstimmung von 54,75 % auf 81,25 % ohne jedes Training, und Item-Erzeugung verbesserte sich erst, nachdem Prompt-Verfeinerung plateauiert hatte — jenes Plateau ist Ihr Signal, dass Training etwas hinzufügen könnte.
  4. Feinabstimmen, wenn das Ziel ein stabiles Format, eine kontrollierte Eigenschaft oder eine Domäne ist, die dem Basismodell fehlt. LoRA auf ein paar tausend Beispielen kann kleine offene Modelle auf Parität mit menschlichen Bewertenden bringen, und ein Instruktionsdatensatz kann ein 7B-Modell von nahe null auf innerhalb 0,15 einer viel größeren Referenz bei domänenspezifischen Dimensionen bringen.
  5. Rang und Schichten absichtsvoll wählen, und architekturspezifisches Verhalten erwarten. Der Gewinn pro Adapter-Parameter fiel, während der Rang stieg, vier Schichten-Anpassung schlug sowohl flachere als auch volle Tiefen-Feinabstimmung, und eine Modellfamilie verbesserte sich erheblich, während eine andere sich überhaupt nicht bewegte.
  6. Post-Training nutzen, wenn Sie ändern müssen, wie das Modell lehrt. Anleiten über Antworten belohnen, und erwarten, dass die Belohnung ausgetrickst wird — schreiben Sie sie gegen einen Benchmark, nicht gegen eine Intuition.
  7. Auf Schrittebene supervidieren. Training nur auf Endantworten erzeugte unter 30 % Fehlvorstellungs-Genauigkeit bei jeder Datenmenge.
  8. Einen Menschen im Loop behalten, wo Konfidenz niedrig ist. Das Routen des am wenigsten konfidenten Fünftels der Antworten entfernte etwa 80 % der manuellen Arbeit, während es die Übereinstimmung verbesserte.
  9. Sicherheit über ganze Gespräche hinweg testen. Lange Dialoge sind, wo spezialisierte Modelle degradieren.
  10. Erwartungen kalibrieren. Modell- und Promptwahl machen nur etwa 15 % der Fehlausrichtung mit Lerngewinnen aus; manches von dem, was Sie von Training wollen, ist von Training nicht zu haben.

Offene Fragen

  1. Generalisiert pädagogisches Post-Training über Fächer hinweg, oder ist fachspezifisches Tuning immer nötig?
  2. Kann die RL–SFT–RL-Pipeline mit longitudinalem Gedächtnis für Personalisierung über Terme hinweg kombiniert werden?
  3. Was ist die kleinste Supervisionsmenge, die pädagogisches Schlussfolgern auf Schrittebene noch lehrt, und kann sie über Institutionen hinweg geteilt werden, ohne Studierendendaten zu teilen?
  4. Wie sollte Evaluation feinabgestimmter Bildungsmodelle standardisiert werden, angesichts der Tatsache, dass Ähnlichkeitskennzahlen exzellent sein können, während das Modell unbenutzbar ist?

Verbindungen zu verwandten Konzepten

Diese Seite ist der wie ein Modell gemacht wird-Begleiter zu Große Sprachmodelle (LLMs), das behandelt, was große Sprachmodelle sind und wie sie sich verhalten. Sie sitzt unter Technologien als der Trainings-und-Anpassungs-Knoten, neben RAG (retrieval-augmented generation / abrufgesteuerte Generierung) (die Abruf-Alternative, die meist zuerst kommt), Prompt-Engineering (der günstigste Hebel) und Bestärkendes Lernen (die RL-Hälfte von Post-Training). Ihre Ausgaben speisen Intelligentes Tutoring und Adaptives Lernen; ihre häufigsten Bildungsanwendungen sind Automatisiertes Assessment, Automatisierte Bewertung von Aufsätzen und Qualität von KI-Feedback; und ihre engsten konzeptionellen Verwandten sind NLP in der Bildung, Simulation von Lernenden, Quelloffene Software (Open Source) und Modellierung der Lernenden und adaptive Instruktion. Die Risiken, die sie erzeugt, werden von Pädagogische Sicherheit, KI-Sykophantie, Halluzinationsrisiko und Datenschutz gehalten.

Verbundene Konzepte

Verbundene Artikel

Verknüpfte FAQs

Metadaten

NiveauHigher Ed, K 12
ZielgruppeEducational Technology Developers, Software Developers, Instructional Designers, Researchers
Lernen und UnterrichtScaffolding (Gerüstbildung)
Technologien und VerfahrenGenerative KI, Große Sprachmodelle (LLMs), Intelligentes Tutoring, Adaptives Lernen, Bestärkendes Lernen, Quelloffene Software (Open Source), NLP in der Bildung
Forschungsmethoden und EvaluationBenchmark (Vergleichsmaßstab)
Gerechtigkeit, Ethik und verantwortungsvoller EinsatzPädagogische Sicherheit
Grundlagen von KI in der BildungKI in der Bildung
SourceHistoryEditChat

Diese Seite einbetten

Kopieren Sie den Code unten, um diese Seite in ein Lernmanagementsystem oder eine andere Website einzubetten. Die eingebettete Version zeigt nur den Seiteninhalt — Kopfzeile, Navigation und Fußzeile der Website werden ausgeblendet.