AIEd-WissensbasisAIEd KB
Auf dieser Seite

Diese Seite wurde maschinell ins Deutsche übersetzt; die Artikelseiten sind weiterhin auf Englisch verfasst. Diese Seite auf Englisch lesen

Konzepte

Automatisierte Bewertung von Aufsätzen

Erstellt 2026-08-09 · Aktualisiert 2026-10-10

Dies ist eine automatische Übersetzung der englischen Seite; sie wurde noch nicht von einer muttersprachlichen Person geprüft.

Automatisierte Bewertung von Aufsätzen (AES) — der Einsatz von KI, um geschriebene Aufsätze zu beurteilen und zu bewerten, von traditionellen statistischen Ansätzen über feinabgestimmte Sprachmodelle bis hin zu zunehmend zugänglichen Prompting-Strategien auf Basis von LLMs. Die AES-Forschung in dieser Wissensbasis umfasst Bewertungsgenauigkeit, Fairness und Bias, psychometrische Validität und praktische Zugänglichkeit für Lehrende.

Fragen zum Nachdenken

  • Automatisierte Bewertung von Aufsätzen hat sich von traditionellen statistischen Modellen hin zu LLM-basiertem Prompting bewegt. Eine zentrale Spannung auf dieser Seite ist die zwischen Genauigkeit und Zugänglichkeit — feinabgestimmte Modelle bewerten gut, sind aber für die meisten Lehrenden unpraktikabel. Was würden Sie in Ihrem eigenen Kontext priorisieren, und warum?
  • Ein zentraler Befund ist, dass allein das Aufnehmen von Beispielaufsätzen in den Prompt die Übereinstimmung zwischen LLM und Mensch nahe an die Zuverlässigkeit zwischen Menschen bringt — und dass ein günstigeres Modell einem teureren gleichkommen kann. Was legt das nahe darüber, wie viel von AES-Qualität das Modell ist und wie viel die Art, wie man es promptt?
  • Die Seite warnt, dass KI-Bewertung Studierende aus sprachlich vielfältigen Hintergründen systematisch unterschätzen kann. Wenn Sie vor der Lektüre sähen, wie eine KI den Aufsatz einer Person, die nicht muttersprachlich schreibt, niedriger bewertet, hätten Sie das als „Bias-Problem“ angenommen oder einfach als „die Bewertung“? Was würde Ihre Reaktion verändern?
  • Ein selbstreferenzieller Ansatz bewertet L2-Schreibende, indem er ihr Schreiben mit ihren eigenen früheren Arbeiten vergleicht statt mit Normen für Muttersprachliche. Wie verändert die Wahl der Vergleichsbasis, was eine Bewertung bedeutet — und welche Studierenden könnte sie gerechter behandeln?
  • AES überschneidet sich mit formativem Assessment, wenn es für Feedback statt für Noten genutzt wird. Wann wäre das Feedback einer Maschine zu einem Aufsatz für einen sich entwickelnden Schreibenden wirklich nützlich, und wann könnte es die Arten qualitativen Feedbacks einebnen, die eine menschliche Redakteurin geben würde?

Einführung

Automatisierte Bewertung von Aufsätzen hat eine lange Geschichte in der Bildungstechnologie, von frühen statistischen Modellen bis zu modernen LLM-basierten Ansätzen, die Aufsätze ganzheitlich bewerten können, ohne große vorab bewertete Datensätze. Die zentrale Spannung in der AES-Forschung ist die zwischen Genauigkeit und Zugänglichkeit — während feinabgestimmte Modelle starke Ergebnisse erzielen, sind sie ressourcenintensiv und für die meisten Lehrenden unpraktisch.

  • Zhang et al. RACES nutzt Belohnungsabstimmung, um LLM-Aufsatzbewertung sowohl genau als auch konsistent zu machen, und adressiert damit ein zentrales AES-Validitätsanliegen.

Zentrale Forschungsthemen

Prompting-basiertes AES hat sich als der zugänglichste Ansatz herausgebildet. Die Ankerpapier-Studie von Choi et al. zeigt, dass das Aufnehmen von Beispielaufsätzen in Prompts die Übereinstimmung zwischen LLM und Mensch nahe an die Zuverlässigkeit zwischen Menschen bringt, wobei GPT-4o mini bei geringeren Kosten vergleichbare Ergebnisse wie GPT-4o erreicht. Das verbindet sich mit weiter gefasster Prompt-Engineering-Forschung und macht AES für die Nutzung durch Lehrende machbar.

Psychometrische und merkmalsbezogene Bewertung geht über ganzheitliche Noten hinaus. PsyScore bietet ein psychometrisch bewusstes Framework für merkmalsadaptive Bewertung mit an ZPD verankertem Feedback. ICLE++ modelliert feinkörnige Merkmale für ganzheitliche Aufsatzbewertung und treibt die Präzision automatisierter Beurteilung voran.

  • Merkmalsbezogene Bewertung auf Dimensionsebene ist durch die Daten hinter jeder Dimension begrenzt. Firdausi et al. (2026) trainierten je einen Klassifikator pro Dimension von Ennis' FRISCO-Framework für kritisches Denken an 106 indonesischen Physikaufsätzen der elften Klasse (83 für Training, 23 für Test, mit drei bewertenden Lehrkräften, die bei jeder Dimension bei kappa 0.78–0.84 übereinstimmten). Die Übereinstimmung konzentrierte sich auf Ausdruck statt auf Schlussfolgern: das quadratisch gewichtete Kappa erreichte 0.763 für Klarheit und 0.728 für Situation, aber nur 0.374 für Fokus, 0.332 für Grund und 0.227 für Schlussfolgerung. Das ordinale Signal wurde hergestellt statt beobachtet — synthetische Level-1-Aufsätze (Vorlagenerzeugung, Degradierung auf 20–40% der Originallänge, Entfernen von Schlüsselwörtern) plus LLM-Paraphrase hoben Fokus um +0.346 Kappa von einer Basis von 0.028 —, und eine Konfiguration erreichte 0.652 Genauigkeit bei nahezu null oder negativem Kappa, sodass Genauigkeit im ordinalen AES kein brauchbares Auswahlkriterium ist.

Bias und Fairness ist ein kritisches Anliegen. Feser & Tschisgale fanden, dass KI-Bewertung Studierende aus sprachlich vielfältigen Hintergründen systematisch unterschätzt, und heben damit die Notwendigkeit von Bias-Minderung und Gerechtigkeits-Erwägungen im AES-Einsatz hervor.

Nichtübereinstimmung mit menschlichen Bewertenden ist systematisch, nicht zufällig. Standardmäßige GPT- und Llama-Modelle stimmten nur schwach mit menschlichen Bewertungen überein (QWK ≈ 0.17–0.28 gegenüber 0.72 zwischen zwei menschlichen Bewertenden) und verzerrten in einer qualitätsabhängigen Richtung — höher für kurze, wenig entwickelte Aufsätze und niedriger für lange, starke mit kleineren Flüchtigkeitsfehlern (Mathew et al. (2026)).

L2- und selbstreferenzielle Bewertung erkundet Kontexte nicht-muttersprachlichen Schreibens. Profilbasierte L2-Bewertung nutzt einen selbstreferenziellen Ansatz, der das Schreiben der Studierenden mit ihren eigenen früheren Arbeiten vergleicht statt mit Muttersprachler-Normen.

Interpretierbarkeit und Merkmalsgewichtung öffnet die Blackbox dessen, wie LLMs tatsächlich bewerten. Wang et al. (2026) verglichen drei LLMs (Qwen, GPT, Gemini) mit menschlichen Bewertenden an englischen Aufsätzen nicht muttersprachlich Schreibender über sechzehn Textmerkmale hinweg und fanden starke Gesamtausrichtung, aber unterschiedliche Gewichtung: LLMs betonten grammatikalische Genauigkeit, lexikalische Sophistication und syntaktische Komplexität, während menschliche Bewertende Inhaltsvollständigkeit und visuelle Präsentation priorisierten. Entscheidend verschoben LLMs ihre Gewichtung je nach Kompetenzniveau — sie legten mehr Gewicht auf Sprachfehler bei Studierenden mit geringer Kompetenz und belohnten zunehmend sprachliche Sophistication bei solchen mit hoher —, während menschliche Bewertende einen stabileren Rahmen beibehielten. Liu, Ye und Yan (2026) weiten dies mit einem Evaluationsframework aus fünf Modellen (GPT-4.1, Llama 4 Maverick, Gemini 2.5 Flash, Claude Sonnet 4, DeepSeek R1) an 60 langen Aufsätzen aus und nutzen kausale Entdeckung, um unterschiedliche evaluative Heuristiken offenzulegen: die meisten Modelle priorisierten lexikalische Präzision und Flüssigkeit, während andere syntaktische Komplexität oder domänenübergreifende Integration betonten, und manche zeigten Inkonsistenz, Notenkompression oder systematische Unterschätzung. Zusammen begründen diese Studien, dass AES-Validität nicht nur von der Gesamtübereinstimmung abhängt, sondern davon, wie Modelle Merkmale gewichten und ob diese Gewichtung über Teilgruppen von Lernenden hinweg stabil ist — was unmittelbar Validität von Assessments und Bias-Minderung-Audits informiert.

Grenzen des Itemtyps und Grenzen der Aufsatzbewertung. In einer Prüfung im gemischten Format an einer Universität fanden Falahat, Das, Bhaumik & Thambi (2026), dass die Übereinstimmung von ChatGPT-5 mit dem Personal bei objektiven Items erheblich bis nahezu perfekt war (CCC 0.935–1.000), bei offenen Antworten aber stark abfiel — nahe null bis negativ bei Kurzantworten und nur 0.341–0.854 bei Aufsatzfragen —, und ein strukturierter Rubrik verbesserte die Aufsatzübereinstimmung nicht konsistent. Das begrenzt AES-Validität: Modellflüssigkeit hilft bei gut spezifizierten Items, überträgt sich aber nicht auf ganzheitliche Aufsatzbewertung, wo kontextuelle Deutung von Teilpunkte-Antworten weiterhin menschliches Urteil begünstigt.

Grenzen nach Issue-Typ in der diagnostischen Übereinstimmung. Yao und Fan (2026) nutzten DeepSeek-R1, um spezifische Schreibprobleme vor der Überarbeitung zu labeln, und verglichen dessen Labels mit der Diagnose der Lehrkräfte über drei Zyklen (mittleres F1 = 0.768, SD = 0.037). Die Übereinstimmung war am höchsten bei lokal angezeigten Problemen wie der Wortwahl im Wortschatz (F1 = 0.824) und am geringsten, wo das Problem an einer Behauptung-Beleg-Beziehung hängt (Quellennutzung und Belege, 0.579), sodass Übereinstimmung in einer diagnostischen Rolle vom Problemtyp abhängt, nicht nur vom Modell oder vom Prompt. Eine schiefe Rubrikverteilung kann aggregierte Bewertungskennzahlen in die Irre führen. Die automatisierte Evaluation einer Rubrikdimension kann eine Klassifikationsaufgabe mit einseitiger Labelverteilung sein statt einer kontinuierlichen Bewertung: Beim Markieren des Reflexionsniveaus 0-3 in 1.954 ungarischen Studierendenaufsätzen saßen 68% der Aufsätze auf Niveau 3 und 1.8% auf Niveau 0, und die beste einfache Konfiguration (SMOTEBoost mit Qwen3-Embeddings) erreichte eine Gesamtbewertung von 0.7176 gemittelt über Genauigkeit, F1 und ROC-AUC gegenüber 0.6872 für den besten feinabgestimmten Transformer —, dennoch erzielte eine RidgeClassifier-Konfiguration 0.7131 ROC-AUC bei nur 0.5162 Genauigkeit, und Klassenbalancierung senkte jede Kennzahl (Genauigkeit fiel von 0.6672 ohne auf 0.6408 mit), sodass die Autoren die Modellwahl als Frage danach lesen, welche Kennzahl zählt, wobei Transformer ihren Platz durch Sensitivität für Minderheitsklassen verdienen statt durch aggregierte Übereinstimmung (Csibi et al., 2026).

Belege aus folgenreichem Einsatz. Feldbelege aus einem realen folgenreichen Einsatz (Uruguays Acredita EB, 2024–2025; Curi et al.) zeigen, dass prompt-entworfenes GPT-5 über eine 15-Item-Analyse-Rubrik für Spanisch hinweg 60–80% Übereinstimmung mit geschulten menschlichen Bewertenden erreicht, etwa fünf Prozentpunkte unter der Übereinstimmung zwischen menschlichen Bewertenden für die meisten Items und nie mehr als 15 Punkte darunter, mit Lauf-zu-Lauf-Konsistenz über 90% für nahezu alle Items. Wortschatz, Syntax und Rechtschreibung waren die schwächsten Dimensionen, und das Rechtschreibitem musste an einen deterministischen Grammatikprüfer übergeben werden (LanguageTool, 68% Genauigkeit, 100% Konsistenz), weil Token-Level-Orthographie der Ort ist, an dem das Modell am wenigsten stabil ist. Prompts, die für eine Prüfungsauflage gebaut waren, übertrugen sich auf die nächste mit nur themenspezifischen Änderungen, und die KI war systematisch strenger als Menschen — sie vergab eher niedrigere als höhere Noten. Für AES-Design ist die Lehre, dass prompting-basierte Bewertung selbst in einer nationalen Prüfung an menschliche Übereinstimmung herankommen kann, während ihre verbleibende Schwäche auf der Ebene elementarer Sprachkonventionen sitzt statt bei ganzheitlicher Qualität des Schreibens.

Token-Level-Konfidenz, wahrscheinlichkeitsgewichtete Bewertung und Ensembling verbesserten jeweils die Übereinstimmung bei der Bewertung divergenten Denkens — die gestapelten Verfahren erreichten r = 0.846 (RMSE = 0.4848), und das Routen nur der am wenigsten sicheren 20% der Antworten an menschliche Prüfung senkte den manuellen Aufwand um etwa 80% (Organisciak & Acar (2026)).

Der menschliche Benchmark und was er erlaubt und nicht erlaubt. Die OpRaise-Studie ist der stärkste Test in dieser Wissensbasis dafür, ob LLM-Bewertung für den Routinegebrauch bereit ist, und ihre Antwort dreht sich um den Benchmark statt um das Modell. Sie verglich drei Systeme der Entwicklungsfront (Claude Opus 4.6, GPT-5.4, Gemini 3 Flash), jeweils unter 27 Prompt-Konfigurationen, die Rubrikspezifität, Kalibrierung und Bewertungsstrategie kreuzten, mit den moderierten Bewertungen von 761 authentischen Psychologieaufsätzen von 125 Studierenden an drei britischen Universitäten. Menschliche Bewertungen wurden als Ground Truth angenommen, weil akademisches Urteil der sozial akzeptierte Standard ist, und die Autoren halten fest, dass menschliche Bewertende untereinander nur mäßig übereinstimmen — was begrenzt, wie stark KI-Mensch-Übereinstimmung vernünftigerweise verlangt werden könnte. Gegen diesen Benchmark reichte die Übereinstimmung bei der britischen Notenstufe von 35 bis 65 Prozent je Einrichtung (63 Prozent in Cambridge, 53 Prozent in Nottingham, 35 Prozent an der Manchester Metropolitan) und übertrug sich nicht zwischen ihnen, sodass die zentrale Empfehlung des Berichts lokale Validierung an den eigenen Assessment-Materialien einer Einrichtung ist. Zwei Befunde verallgemeinern über dieses Korpus hinaus. Erstens fallen Zuverlässigkeit und Übereinstimmung auseinander: jedes Modell bewertete bei erneuter Durchsicht nahezu identisch (ICC 1.00, 1.00, 0.97) und die Modelle stimmten untereinander enger überein als mit Menschen (Drei-Modell-ICC 0.91), dennoch stimmten alle drei bei nur 56 Prozent der Einreichungen auf die Notenstufe überein — Selbstkonsistenz ist nicht Validität. Zweitens komprimierten KI-Bewertungen zur Mitte der Skala hin (ein Kompressionswert von 0.47–0.82, wobei der Crossover-Punkt, an dem KI und Mensch im Mittel übereinstimmen, im oberen 50er- bis unteren 60er-Bereich liegt), wodurch KI genau an den Notengrenzen am wenigsten genau ist, die Firsts von Upper Seconds und Bestehen von Durchfallen trennen. Wortschatzbreite, Konnektoren, Satzkomplexität und Textlänge sagten KI-Bewertungen mit kleinen, aber signifikanten Effekten vorher, während deren Beziehung zu menschlichen Bewertungen weitgehend zu vernachlässigen war — eine direkte Demonstration des Anliegens der sprachlichen Verzerrung, und eine, die keine der getesteten Prompting-Strategien beseitigte.

AES als Trainingssignal statt als Richter. Bewertungsmodelle werden üblicherweise als Evaluierende untersucht, SWIM nutzt eines jedoch als Belohnungsfunktion: Do, Kontak und Sachan (2026) frieren einen Multi-Trait-AES-Verifier ein und bewerten ihn gegen erzeugte studentische Aufsätze, wodurch das vorhergesagte Merkmalsprofil zu einer dichten Belohnung pro Aufsatz wird (die mittlere merkmalsnormalisierte Distanz zum Zielprofil) für GRPO, absichtlich nicht das Quadratic Weighted Kappa selbst, weil QWK über einen Batch von Ziel-Vorhersage-Paaren definiert ist und kein Signal pro Sample darstellt, während Exakt-Match-Belohnungen im Multi-Trait-Setting zu spärlich sind. Die Zugewinne wurden gegen einen DeBERTa-Scorer und einen reinen Evaluations-Verifier, gegen den die Policy nie trainierte, nachgeprüft (0.598 gegenüber 0.479 für SFT und 0.647 gegenüber 0.501), was die Prüfung ist, die echte Kompetenzsteuerung von Anpassung an das Belohnungsmodell trennt. Für AES-Forschung ist das eine zweite Validitätsforderung: ein Scorer, der als Trainingsziel genutzt wird, wird dagegen optimiert, sodass seine eigene Merkmalsgewichtung und seine Sprachbiases in alles eingehen, was der Generator lernt - dieselben Asymmetrien der Merkmalsgewichtung (grammatikalische Genauigkeit, lexikalische Sophistication und syntaktische Komplexität von Modellen höher gewichtet als von menschlichen Bewertenden), die anderswo auf dieser Seite dokumentiert sind, formen nun das Training und nicht nur die Bewertungen. Bewertung und Feedback wollen unterschiedliche Methoden, daher sollte ein System sie trennen. Labib et al. (2026) bauten ein TOEFL-Argumentationsaufsatz-System als drei Module — Bewertung, oberflächliches Feedback zu Grammatik und Mechanik, und tiefes Feedback zu Organisation, Kohärenz und Argumentation —, statt ein einzelnes Modell alle drei Aufgaben erledigen zu lassen, und fanden, dass, was in einem Modul gewinnt, im anderen verliert: überwachtes Feinabstimmen von GPT-4o an 120 Aufsätzen aus einem proprietären Satz von 480 Benchmark-bewerteten Aufsätzen, getestet an den verbleibenden 360, erreichte ein quadratisch gewichtetes Kappa von 0.84 und RMSE von 0.44 auf der Skala 0-5, vor der Baseline von Wang und Gayed (2024) (QWK 0.78, RMSE 0.57), dennoch produzierte dieselbe Feinabstimmung unbrauchbare Ausgaben für die Feedbackmodule, wo direktes Prompting von Claude 3.7 das war, was von Lehrenden akzeptierte Kommentare erzeugte.

Verbindungen zu verwandten Konzepten

AES liegt an der Schnittstelle von automatisiertem Prüfen, Schreiben und generativer KI. Es verbindet sich mit formativem Prüfen, wenn es für Feedback statt für Noten genutzt wird, mit der Feedbackschleife, wenn es in iterative Schreibprozesse integriert wird, und mit KI-Kompetenz, wenn Lehrende AES-Werkzeuge verstehen und kalibrieren. Die Konzepte Validität von Assessments und Bildungsmessung sind wesentlich, um sicherzustellen, dass AES-Bewertungen aussagekräftig und fair sind.

  • Übereinstimmung, Fehler und was ein hybrider Scorer hinzufügt. In einem kleinen offenen Korpus von Marketing-Texten übertraf das LLM sowohl deterministische Regeln als auch einen Hybrid mit gleicher Gewichtung bei absoluter Übereinstimmung mit menschlichen Bewertenden (ICC(2,1) .435 gegenüber .266 und .091), wobei der Hybrid signifikant schlechter war als das LLM allein, während Streuung der Bewertungen und eine einzige nahezu leere Antwort zeigten, wie stark solche Schätzungen von der Zusammensetzung des Korpus abhängen (Agreement and error in automated scoring of student marketing posts).

Offene Systeme gehören ebenfalls in dieses Bild: AiAWE bewertet Argumentationsaufsätze mit einem LoRA-angepassten Gemma-3-27B-it und erreicht QWK 0.828 und Übereinstimmung innerhalb von ±0.5 der menschlichen Bewertung bei 90.56% von 360 Evaluationsaufsätzen — und berichtet, dass Modellskala die nachgelagerte Leistung unter LoRA-Anpassung nicht verlässlich vorhersagte (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models).

Verbundene Konzepte

Verbundene Artikel

Metadaten

FachgebietWriting Education
NiveauHigher Ed, K 12
Technologien und VerfahrenGenerative KI, Große Sprachmodelle (LLMs), Prompt-Engineering
Assessment und MessungLeistungsbeurteilung, Automatisiertes Assessment
Grundlagen von KI in der BildungKI-Kompetenz
SourceHistoryEditChat

Diese Seite einbetten

Kopieren Sie den Code unten, um diese Seite in ein Lernmanagementsystem oder eine andere Website einzubetten. Die eingebettete Version zeigt nur den Seiteninhalt — Kopfzeile, Navigation und Fußzeile der Website werden ausgeblendet.