AIEd-WissensbasisAIEd KB
Auf dieser Seite

Diese Seite wurde maschinell ins Deutsche übersetzt; die Artikelseiten sind weiterhin auf Englisch verfasst. Diese Seite auf Englisch lesen

Konzepte

Automatisiertes Assessment

Erstellt 2026-08-09 · Aktualisiert 2026-10-10

Dies ist eine automatische Übersetzung der englischen Seite; sie wurde noch nicht von einer muttersprachlichen Person geprüft.

Automatisiertes Assessment – der Einsatz von KI zur Bewertung studentischer Arbeit, von formativen Quizzen bis zu folgenreichen Prüfungen. Automatisiertes Assessment umfasst mehrere Modalitäten – Multiple-Choice, Kurzantwort, Essay, Code und leistungsbasierte Bewertung – und reicht von direkter automatisierter Benotung bis zu konfidenzbewussten Systemen, die kalibrierte Unsicherheit neben ihren Scores berichten.

Fragen zum Nachdenken

  • Automatisiertes Assessment reicht von Multiple-Choice-Bewertung bis zu Essays, Code und leistungsbasierter Bewertung. Welchen größten Unterschied würden Sie zwischen der Verlässlichkeit erwarten, mit der KI ein Multiple-Choice-Quiz gegenüber einem freien Essay benoten kann – und warum?
  • Eine zentrale Designidee hier ist „Konfidenzbewusstsein“: KI-Bewerter, die berichten, wie sicher sie sind, und Fälle geringer Konfidenz zur menschlichen Prüfung markieren, statt einen einzelnen unbedingten Score abzugeben. Wie würde eine Note, die sagt „Ich bin mir bei dieser Sache zu 70% sicher“, Ihre Nutzung oder Ihr Vertrauen in einen automatisierten Score verändern?
  • Forschung zeigt, dass automatisierte Bewertung Nicht-Muttersprachler systematisch benachteiligen kann – die KI bewertet die Sprache statt das Verständnis. Warum könnte ein automatisierter Bewerter besonders anfällig für diese Art von Unfairness sein, selbst wenn er insgesamt hohe Übereinstimmung mit menschlichen Beurteilenden erzielt?
  • Eine Studie fand, dass die Art der Validierung die berichtete Leistung aufblähen kann: Eine naive Kreuzvalidierungsmethode berichtete nahezu perfekte Ergebnisse, die unter strengerer, versuchsunabhängiger Validierung drastisch einbrachen. Welche Lehre legt dieses warnende Ergebnis für die Art nahe, wie Sie jede Behauptung lesen sollten, ein KI-Assessmentsystem „funktioniere“?
  • Die Seite argumentiert, kalibrierte Konfidenz ermögliche Human-in-the-Loop-Arbeitsabläufe, stütze die Vertrauenskalibrierung und stärke die Messvalidität. Wenn ein automatisiertes System seine unsichersten Fälle zur menschlichen Prüfung leitet: Was würden Sie darüber wissen wollen, wie diese Fälle ausgewählt werden, bevor Sie der Aufteilung vertrauten?
  • Automatisiertes Benoten wird als eine der reifsten AIED-Anwendungen beschrieben, doch Benoten ohne nützliches Feedback hat begrenzten Bildungswert. Wie könnte ein Fokus rein auf die Produktion von Scores – statt auf nutzbares Feedback – verändern, was Studierende tatsächlich aus einem KI-benoteten Assessment mitnehmen?

Einführung

Assessmentmodalitäten

  • Kurzantwort und Essay: automatisierte Benotung, Automatisierte Bewertung von Aufsätzen und konfidenzbewusste Ansätze handhaben die Bewertung freien Texts.
  • Code-Assessment: Bash-Benotung und Code-Review demonstrieren Assessment in der Programmierung.
  • Formatives Assessment: A-level-Naturwissenschaftsautomatisierung und CoTAL fokussieren auf formativen statt summativen Einsatz.
  • KI-generierte Assessments im großen Maßstab: Assessment KI-generierter Prüfungen zeigt, dass iterativ verfeinerte, kurszugeschnittene KI-generierte Prüfungen IRT-gemessene Qualität auf Augenhöhe mit von Experten geschriebenen Fragen standardisierter Prüfungen erreichen (Schwierigkeit β̄ = −0,45 gegenüber 0,35; Trennschärfe ᾱ = 1,3 gegenüber 1,2) über 91 Hochschulkurse hinweg – ein Beleg, dass automatisiertes Assessment von der Bewertung zur vollen Aufgengenerierung übergehen kann.
  • Leistungsassessment: Video-Engagement-Assessment und Zeichnungs-Assessment erweitern die Automatisierung über Text hinaus.
  • Multimodale Prüfungsdaten und Rubriken: ein multimodaler Prüfungsantwortdatensatz mit von Experten entworfenen OBE-Rubriken (Outcome-Based Education) bietet eine Benchmark-Ressource für automatisiertes Assessment auf Kriterienebene über vielfältige Antwortmodalitäten hinweg und stützt Benchmarking- und Messforschung zu multimodaler studentischer Arbeit.
  • Neurophysiologisches Assessment: Nanayakkara & Halloluwa (2026) benchmarken ML-/DL-Modelle für EEG-basierte Vertrautheitsprädiktion (Gesichter gegenüber Mathematikaufgaben) als Schritt hin zu direkten, objektiven Maßen des Wissenserwerbs. Entscheidend zeigen sie, dass standardmäßige stratifizierte Kreuzvalidierung die Leistung durch zeitliches Leckage aufbläht (bis 0,9853 F1), während versuchsunabhängige Group-K-Fold-Validierung den Spitzenwert auf 0,6038 F1 fallen lässt – eine warnende methodische Lehre für alles Benchmarking im automatisierten Assessment.

Automatisierte Benotung

Automatisierte Benotung ist eine der reifsten und am breitesten eingesetzten KI-Bildung-Anwendungen – KI-Systeme, die studentische Arbeit bewerten, von Multiple-Choice-Bewertung bis zu Essaybewertung und Code-Review. Ihre Benotungsmodalitäten umfassen:

  • Studierende trennen Feedbacknutzen von evaluativer Autorität: AlGhamdi (2026) dokumentiert einen Fall, in dem ein KI-Score in die Noten einging und Studierende das wussten – 13 Informatikstudierende, deren eingescannte handschriftliche Arbeit von ChatGPT gegen eine Rubrik aus Klarheit, Organisation, Satzrichtigkeit und Prägnanz bewertet wurde. Jede Teilnehmende fand das Feedback nützlich, dennoch trennten alle diesen Nutzen von Autorität, und mehrere wiesen den einseitigen, nicht-dialogischen Charakter automatisierter Benotung zurück – „ChatGPT ist nicht wie Menschen. Mit denen reden Sie und erklären Ausreden … ich mag es, wenn der normale Lehrer [mir] meine Arbeit benotet.“ Die Studie positioniert automatisierte Evaluation als akzeptabel für oberflächliche Überarbeitung, aber nicht als finale Bewerterin, mit bedingtem Vertrauen, das durch Aufsicht der Lehrenden vermittelt ist.
  • Kurzantwort-Benotung: Konfidenzbewusste ASAG bewerten Freitextantworten, wobei Konfidenzkalibrierung kritisch ist – Systeme müssen wissen, wann Benotung verlässlich ist. Ein Scoping Review zur automatischen Benotung von Kurzantworten in den Naturwissenschaften (2017–Anfang 2024) dokumentiert die Geschichte des Feldes: Morley et al. fanden, dass Modelle der BERT-Familie (Base, RoBERTa, DistilBERT, SciBERT) dominierten – eingesetzt in 20 von 21 Studien, mit Höhepunkt 2021 –, bevor GPT-basierte Ansätze ab etwa 2022 über Prompt-Engineering statt über Feinabstimmung übernommen wurden. Modelle, die mit Domänendaten angereichert waren (Lehrbücher, Rubriken, weiteres Vortrainieren), übertrafen durchgängig jene ohne, doch nur wenige konnten Benotungen in menschlich nachvollziehbaren Begriffen begründen, und Bias über demografische und sprachliche Gruppen hinweg wurde selten untersucht –, was die Autoren zu dem Argument führt, automatische Benoter sollten menschliche Prüfende unterstützen statt ersetzen. Ein PRISMA-geleiteter systematischer Review von 42 empirischen Studien zu Benotung und Feedback (2023–2025) verallgemeinert diese Warnung über das Feld hinweg: LLMs erreichen die Übereinstimmung mit menschlichen Beurteilenden bei geschlossenen Aufgaben und Kurzantwortfragen, können aber menschliches Urteil bei komplexer, offener oder subjektiver Arbeit, die vertiefte Analyse oder Kreativität erfordert, nicht vollständig ersetzen, und die höchste Effektivität der Benotung wird in hybriden Systemen erreicht, die KI-getriebene Benotung mit Aufsicht und Verifikation durch Lehrende paaren (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback).
  • Essay-Bewertung: Systeme zum Automatisierte Bewertung von Aufsätzen wie ankerbasierte AES nutzen Prompting-Strategien, um sich der Zuverlässigkeit auf menschlichem Niveau anzunähern. AIAWE erweitert automatisierte Evaluation auf breiteres Schreib-Assessment.
  • Code-Review: Linux-Bash-Benotung und CS1-Code-Review demonstrieren automatisiertes Assessment in der Informatikbildung.
  • Eine Prompt-Persona kann einen Bewerter kollabieren lassen, und Feinabstimmung kann es reparieren: Habibullah et al. (2026) benoteten eine praktische Prüfung in Computer Vision (570 doppelt benotete Studierende) unter 171 Konfigurationen und eine zweite Prüfung in maschinellem Lernen (1.038 Studierende) unter 162 weiteren. Ein kurzes „Strict-Grader“-Vorspann trieb 14 von 17 Open-Weights-Modellen aus dem benoteten Band (MAE ≥ 8), drei stellten das Benoten ganz ein; der Schaden ging auf zwei Noten-zurückhaltende Sätze zurück statt auf Ton oder Modellgröße, und seine Richtung war prüfungsspezifisch, indem er sieben Modelle in der zweiten Prüfung verbesserte. Leichte LoRA-Feinabstimmung auf etwa 3.900 gepoolte benotete Beispiele brachte fünf kleine offene Modelle auf Parity oder besser gegenüber einem menschlichen Bewerter, daher ist die Verletzlichkeit ein Prompting-Artefakt statt eine Fähigkeitsgrenze.
  • Formative Integration: A-level-Naturwissenschaftsautomatisierung und CoTAL zeigen, wie automatisierte Benotung in Formatives Assessment-Zyklen eingespeist wird.
  • Die Abdeckung von Feedbackarten ist keine Ausrichtung an Lehrenden. Almousa et al. (2026) annotierten Feedback auf Absatzebene aus drei universitären Schreibkursen in sieben Fokusarten; die meisten Modelle emittieren nahezu jede Art, doch ihre Verteilungen weichen von der Lehrendenreferenz ab, wobei das bildungsnah abgestimmte LearnLM am nächsten (Jensen–Shannon-Divergenz 0,1344) und Mistral-7B am weitesten entfernt ist (0,2695). Prompting mit Kategoriendefinitionen oder Beispielen erhöhte die Divergenz bei den meisten Modellen.
  • Bias und Fairness: Sprachbias in der Physikbewertung dokumentiert, wie automatisierte Benotung Nicht-Muttersprachler benachteiligen kann – verbunden mit Minderung von Bias und Gerechtigkeit.
  • Benchmarking von GenAI-Modellen für offene Benotung: Pecuchova, Benko & Drlik (2025) benchmarkten elf GenAI- und Sentence-Embedding-Modelle gegen zwei erfahrene menschliche Beurteilende an 1.885 offenen Antworten auf 24 Software-Engineering-Fragen. Nur GPTo1 erreichte nahezu perfekte Übereinstimmung (Fleiss' Kappa 0,82, niedrige Falsch-Positiv- und Falsch-Negativ-Raten über Notenkategorien hinweg), mit Claude3 und PaLM2 dicht dahinter; kontextsensitive GenAI-Modelle handhabten kurze, unterschiedlich formulierte Studierendenantworten robust, während referenzbasierte Embedding-Modelle (z. B. 345 Falsch-Positive bei BERT) korrekte, aber abweichend formulierte Antworten systematisch bestraften – ein Beleg, dass Modellwahl, nicht nur Benotungsformat, die Verlässlichkeit für freitextliches offenes Assessment prägt.
  • Prompt-Beispiele entscheiden über Bewertungsübereinstimmung: Takahashi et al. (2026) automatisierten hierarchisches diagnostisches Schlussfolgern (HDR), eine angewandte Kompetenzaufgabe, in der Lernende absichtlich eingebaute Fehler in einem kurzen Fall finden und erklären. Unter Nutzung von GPT-4o ohne Feinabstimmung generierte das Team neue Aufgaben und bewertete die Beschreibungen der Studierenden: generierte und von Menschen verfasste Aufgaben trugen dieselbe interne Konsistenz (Cronbachs α = 0,78) und zeigten über 100 Teilnehmende keinen signifikanten Unterschied in der Score-Verteilung, und die Korrelation des Formats mit einer Leseverständnis-Kontrolle blieb niedrig (α = 0,36 und 0,41). Die Bewertungsgenauigkeit hing vom Prompt ab statt vom Modell – ohne durchgearbeitete Beispiele fiel die Präzision von Q2 auf 0,42, während das Hinzufügen menschlich bewerteter korrekter und inkorrekter Beispiele die Übereinstimmung bei jeder Frage auf 98% oder höher anhob (Q1 und Q2 bei 100%) –, gemessen gegen einen menschlichen Aufwand von 138 Minuten Expertenbewertung für 117 Antworten plus 30 Minuten Konsens.

Ein eigener Denkmodus des Modells ist ein zweiter Konfigurationshebel: Bei 32 anonymisierten Einsendungen zu einer Public-Health-Master-Prüfung bewegte sich dasselbe ChatGPT von gewichtetem Kappa 0,269 im Schnellmodus zu 0,718 im Denkmodus, während Kimi 0,571 erreichte (Brevik et al. (2026)).

  • Multi-Agent-Kodierung offener Antworten von Lehrenden, wo das Rahmenwerk statt das Modell die Verlässlichkeit trägt: Copur-Gencturk et al. (2026) erweitern automatisiertes Assessment über studentische Arbeit hinaus auf die Kodierung des eigenen Fachwissens (CK) und des pädagogischen Fachwissens (PCK) von Lehrenden und fragen, ob KI die trainierte menschliche Kodierung schriftlicher Antworten von 268 US-amerikanischen Mittelschul-Mathematiklehrenden zu Brüchen und proportionalen Beziehungen reproduzieren kann. Ein zweckgebautes Multi-Agent-LLM, GradeOpt, weist drei GPT-4o-gestützte Rollen zu – einen Grader, der das menschliche Kodierungsmanual anwendet, einen Reflector, der jede Abweichung vom menschlichen Code diagnostiziert, und einen Refiner, der Klärungspunkte über bis zu sechs Runden zurück ins Manual faltet – und stimmte bei CK eng mit trainierten menschlichen Kodierern überein (κ = 0,88 und 0,85), während es bei den weitaus interpretativeren PCK-Items insgesamt substanzielle Übereinstimmung erreichte (κ = 0,68; gewichtet κ = 0,79). Zwei NLP-Baselines und ein Einzel-Prompt-GPT-4o-Modell überschritten bei PCK nie κ = 0,39 oder gewichtet κ = 0,55, daher schreiben die Autoren die Verlässlichkeit dem Verfeinern der Instruktionen gegen das Kodierungsmanual statt der Modellgröße zu und empfehlen Expertenprüfung überall dort, wo benachbarte Kodierungsstufen verschwimmen, da GradeOpts Restfehler typischerweise benachbarte Codes waren statt grobe Fehlgriffe.

  • Benotung gemischt-formatiger Prüfungen (2026): Falahat, Das, Bhaumik & Thambi (2026) bewerteten ChatGPT-5 gegen die Benotung durch menschliche Fakultät einer 21-items-Prüfung in Pharmazie (16 Studierende), die Multiple-Choice-, Select-all-that-apply-, Lückentext-, Aufzählungs-, Kurzantwort- und Essay-Items umfasste. Die Übereinstimmung war substanziell bis nahezu perfekt für objektive Item-Typen (CCC 0,935–1,000 – begünstigt durch während der Benotung gelieferte richtige Antworten), brach aber bei Aufzählung (0,621–0,708), Kurzantwort (≈0 bis negativ) und Essay (0,341–0,854) ein; die Bereitstellung einer strukturierten Rubrik verbesserte die Übereinstimmung der Gesamtprüfung nicht durchgängig (71,1% ohne gegenüber 68,2% mit). Die Studie verschärft einen methodischen Punkt, der sich im automatisierten Assessment wiederholt – moderate prozentuale Genauigkeit koexistiert häufig mit niedriger Übereinstimmung –, daher überzeichnet Genauigkeit allein die Verlässlichkeit, und sie empfiehlt hybrides Benoten für komplexe, subjektive oder folgenreiche Items.

  • Modellfamilienübergreifende Notenband-Kalibrierung an authentischen benoteten Essays (2026): Kerwat, Donaldson & Mahomed (2026) ließen acht vorspezifizierte Konfigurationen aus vier Modellfamilien (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B und Llama 3.1 8B, jede bei zwei Temperaturen) über dieselbe festgelegte Kohorte von 114 BAWE/Coventry-Essays laufen, die institutionelle Merit- und Distinction-Labels tragen, mit einem gemeinsamen Prompt, der vier Bänder erlaubte. Die exakte Bandübereinstimmung reichte von 18,4% bis 54,4%: Llama 3.1 8B bei Temperatur 0,5 führte (54,4% exakt, 98,2% innerhalb eines Bands, MAE 0,474, nahezu null Bias), während GPT-OSS 120B am schwächsten war (18,4%) und systematisch unterbenotete, im Mittel um 1,316 Bänder bei Temperatur 0,5, wobei die Distinction-Genauigkeit durchgängig hinter der Merit-Genauigkeit zurückblieb. Die festgelegte Kohorte enthielt keine Pass- oder Fail-Referenzen, daher ist dies Merit–Distinction-Diskriminierung statt Verlässlichkeit über den gesamten Notenbereich, und Temperatur war kein Heilmittel – sie half einer Familie deskriptiv, ließ eine andere unverändert und verschlechterte GPT-OSS 20B signifikant (39,5% auf 29,8% exakt). Zwei Lehren transferieren über die Studie hinaus: Notenabstand und richtungsbehafteter Bias offenbaren, was Übereinstimmungsstatistiken verbergen, und Modellgröße ist kein Stellvertreter für Assessmentvalidität.

  • Rubrik-Engineering für offene Bewertung in der medizinischen Bildung: Olvet et al. (2026) fragten, ob GPT-4 offene Fragen in medizinischen Prüfungen vor dem klinischen Studienteil verlässlich bewerten könne. Nach drei Iterationen menschlich getriebener Rubrikverfeinerung an zwei US-Schulen erreichte die Inter-Rater-Verlässlichkeit mit der Fakultät substanzielle bis nahezu perfekte Übereinstimmung bei drei von vier Fragen unter Nutzung analytischer und holistischer Rubriken (gewichtet Kappa bis 0,94), während das Item mit holistischer Rubrik bei moderat stehen blieb (κw = 0,54). Die Fehlermusteranalyse zeigte, dass Abweichungen beiden Beurteilenden zuzuordnen waren – GPT-4 überbenotete, wenn Studierende mehrere Antworten anboten oder rubrikfremdes Vokabular nutzten, während Fakultätsmitglieder oft „übermäßig großzügige“ Bewerter waren –, was die Autoren zu der Empfehlung führt, Menschen im Loop zu behalten (z. B. Fakultät, die eine Teilmenge zur Bestätigung der Genauigkeit bewertet). Weil etwa 82% der US-amerikanischen Medizinschulen Arbeit vor dem klinischen Studienteil mit bestanden/nicht bestanden benoten, ist exakte Übereinstimmung der KI-Scores für den operativen Einsatz häufig unnötig.

  • HITL-Bewertung für ein groß angelegtes nationales Schreib-Assessment (2026): Curi et al. (2026) skalieren promptbasierte Große Sprachmodelle (LLMs)-Bewertung auf eine echte folgenreiche spanische Schreibprüfung (etwa 5.000–6.000 Antworten pro Jahr) und erreichen 60–80% Itemgenauigkeit und über 90% Ausgabekonsistenz über eine 15-items analytische Rubrik hinweg, wobei ein deterministischer NLP-Prüfer das LLM beim Rechtschreibitem ersetzt (100% Konsistenz). Ihr charakteristischer Beitrag ist entscheidungsorientierte Validierung über modellzentrierte Metriken: Der systematische Unterbenotungs-Bias der KI, über IRT-und-Bookmark in Kompetenzstufen konvertiert, erzeugt Durchgefallen-/Bestanden-Diskrepanzen in 15,3–16,5% der Fälle –, die alle durch den Human-in-the-Loop-Arbeitsablauf zur Expertenprüfung geleitet werden, wodurch die einer vollen menschlichen Bewertung bedürfenden Antworten um mindestens 50% sinken, während die Entscheidungsqualität erhalten bleibt. Das verankert hybrides Benoten im operativen Assessment statt in Proof-of-Concept-Datensätzen.

  • Übereinstimmung pro Dimension zeigt, wo ein Beurteiler Veränderung nicht erkennen kann: SOPHIE 2.0 (Hasan et al., 2026) validierte einen LLM-Judge gegen den Konsens aller menschlichen Bewertungsquellen – standardisierte Patienten und Dritte – an einer dreidimensionalen Rubrik klinischer Kommunikation und erreichte allein aus Transkripten Pearson 0,759 und ICC(A,1) 0,746, innerhalb der Streuung der einzelnen menschlichen Beurteilenden statt außerhalb. Seine schwächste Dimension war Be Explicit (Korrelationen von 0,414–0,598 über Kandidaten-Judges), und das war auch die einzige Dimension, deren Scores sich über die zwei Begegnungen hinweg nicht messbar bewegten (Δ = 0,014, p = 0,1204) –, daher kann Übereinstimmung pro Dimension vorab anzeigen, bei welchen Dimensionen ein automatisierter Beurteiler keine Verbesserung zeigen kann.

Konfidenzbewusstes Assessment

Ein zentrales Designziel innerhalb automatisierten Assessments ist Konfidenzbewusstsein: KI-Assessmentsysteme, die kalibrierte Unsicherheit neben ihren Scores berichten, statt eine einzelne unbedingte Vorhersage abzugeben. Ein konfidenzbewusster Bewerter produziert nicht nur eine Note oder Klassifikation, sondern signalisiert auch, wie sicher er ist, sodass Fälle geringer Konfidenz zur menschlichen Prüfung markiert werden können und Nutzende ihr Vertrauen im System kalibrieren können. Das ist zentral für verantwortungsvolles automatisiertes Assessment und verbindet sich eng mit Psychometrisch bewusste KI und Vertrauenskalibrierung.

Wie Konfidenz in der Forschung der Wissensbasis modelliert wird:

  • Fusionierte Konfidenzsignale für Kurzantwort-Benotung: Confidence-Aware ASAG fusioniert modellbasierte Konfidenzsignale (verbalisiert, latent und konsistenzbasiert) mit datensatzabgeleiteter aleatorischer Unsicherheit über Random-Forest-Regression.
  • Konfidenz in multimodaler studentischer Arbeit: Konfidenzbewusstes Assessment studentisch gezeichneter wissenschaftlicher Abbildungen erweitert Konfidenzmodellierung auf multimodale studentische Antworten.
  • Psychometrische Kalibrierung von LLMs: Psychometrisch bewusste KI hebt den Standard der Ausrichtung von Große Sprachmodelle (LLMs)-Bewertung an der Messtheorie, mit Kalibrierung als Kernanforderung neben Item-Response-Theorie-Alignment.
  • Schwierigkeits- und Antwortzeitkalibrierung: Schwierigkeitskalibrierung für Programmierprüfungen positioniert LLMs neu als Hilfsevidenzquellen, deren Schwierigkeitsschätzungen mit Bestehensquoten der Studierenden korrelieren.
  • Merkmalsadaptive Essaybewertung: PsyScore zeigt, dass ein psychometrisch bewusstes Rahmenwerk Essay-Feedback an Lernendenmerkmale anpassen kann.
  • Bewertung visueller studentischer Arbeit: DiagramIR rückübersetzt LLM-generierte Mathematikdiagramme (TikZ) in eine Zwischendarstellung mit deterministischen Prüfungen, übertrifft LLM-as-a-Judge bei der Übereinstimmung mit menschlichen Beurteilenden und lässt kleine Modelle große bei etwa zehnfach niedrigeren Kosten erreichen – ein skalierbarer Weg zur Bewertung nicht-textueller, diagrammatischer studentischer Ausgabe.
  • Vertrauensgesteuerte Inferenz in automatisierter Lehrendenbewertung: Li, Yang & Fang (2025) setzen Monte-Carlo-Dropout-Kalibrierung direkt in den Bewertungspfad, sodass Dropout-Varianz über einer gelernten Schwelle eine Ablehn-und-Verweis-Ausgabe statt eines Scores auslöst, neben adversarial Debiasing, das die Fairnesslücke bei 1,8% hält, wo Baselines im Bereich 6,4–8,2% liegen, und einem erwarteten Kalibrierfehler von 0,032 auf TeacherEval-2023. Ihre Ablation ist das Kalibrierungsargument im Kleinen: Das Entfernen des vertrauensgesteuerten Moduls senkt die Inter-Rater-Konsistenz auf 78,6%, und die Autoren schreiben dem Gating eine 41%-Reduktion des menschlichen Prüfaufwands zu – Unsicherheitsbehandlung als Architektur statt nachträgliches Berichten.
  • Erklärbarkeit rubrikbasierter Bewertung: Bueno et al. zeigen, dass modellagnostische SHAP-Attributionen treuer und übertragbarer sind als LLM-generierte Begründungen für die Erklärung rubrikbasierter Scores (z. B. Qualität von Klassenfeedback), und schlagen löschungsbasierte plus modellübergreifende Tests als prinzipielle Weise vor, die Erklärungen jedes Bewertungsmodells zu evaluieren.

Warum kalibrierte Konfidenz zählt:

  • Ermöglicht Human-in-the-Loop-Delegation: Fälle geringer Konfidenz gehen zur menschlichen Prüfung – das stützt Human-in-the-Loop-Arbeitsabläufe statt blinder Automatisierung.

  • Stützt Vertrauenskalibrierung: Kalibrierte Konfidenz lässt Nutzende ihr Vertrauen an die tatsächliche Verlässlichkeit des Systems anpassen und vermeidet sowohl Übervertrauen als auch Untervertrauen.

  • Verbessert Messvalidität: konfidenzbewusste Bewertung stärkt Bildungsmessung und Validität von Assessments, indem sie Unsicherheit explizit macht.

  • Fairness und Vertretbarkeit: Das Markieren von Fällen geringer Konfidenz zur Prüfung senkt das Risiko selbstsicher falscher Scores, besonders bei atypischen oder unterrepräsentierten Antworten.

  • Rubrikgenerierung und von Lehrenden beaufsichtigte Benotungspipelines: Mendonça et al. (2026) zeigen, dass LLM-generierte Assessmentrubriken (HARMOGEN-R) von Menschen geschaffene Rubriken beim technischen Inhalt innerhalb einer Äquivalenzspanne von ±5 Punkten erreichen können, wobei strukturierte Generierung größere modellübergreifende Konsistenz gibt. Cruz et al. (2026) evaluieren eine durchgehende GPT-4o-Benotungspipeline, bei der KI-Benotungen bei 83% von 362 Einsendungen innerhalb von 0,5 Punkten der Lehrenden lagen (MAE 0,31) – am besten als skalierbare Ergänzung zu, nicht Ersatz für, Lehrendenurteil gerahmt.

Qualität und Fairness

Die Qualität automatisierten Assessments hängt von Validität von Assessments und Minderung von Bias ab. Forschung zum Sprachbias zeigt, dass automatisierte Bewertung bestimmte Studierendenpopulationen systematisch benachteiligen kann. Das Kriterium selbst ist fehlbar. Bozdag und Qiu (2026) benoten GCSE-Physikprüfungsarbeiten mit einem KI-System und verglichen sie sowohl mit offiziellen Marks der Prüfungsgremien als auch mit dem Urteil erfahrener Lehrender, wobei sie die Übereinstimmung mit dem Gremium als Stellvertreter für Genauigkeit statt als Genauigkeit selbst behandeln.

Einsatzszenarien und was jedes erfordert

Wie viel Ausrichtung eine Einrichtung verlangen sollte, hängt davon ab, was das System entscheiden darf. In einer Mixed-Methods-Studie zu 761 authentischen Undergraduate-Essays an drei britischen Universitäten erreichten drei Grenzmodellmodelle mit je 27 Promptkonfigurationen nur 35–65 Prozent Übereinstimmung mit menschlichen Markern beim Notenband, und Genauigkeit transferierte nicht zwischen Institutionen – daher behandelt der Bericht Kandidatennutzungen als getrennte Szenarien statt als eine Entscheidung. Qualitätssicherung menschlicher Benotung, bei der KI parallel benotet und signifikante Unterschiede menschliche Prüfung auslösen, ist die konservativste. Ein Benotungsassistent, der Einsendungen nach vorhergesagter Qualität oder Unsicherheit ordnet oder kategorisiert, komplexe Fälle triagiert oder kurze menschliche Kommentare zu vollständigerem Feedback ausbaut, ist ein echter Mittelweg. KI als primärer Marker, mit menschlicher Prüfung einer Stichprobe oder der Notenverteilungen, wurde nur dann als akzeptabel beurteilt, wenn sich die Systemleistung verbessert, und keine Akteursgruppe befürwortete KI als alleinigen Marker.

Drei Anforderungen folgen für alle davon. Weil Ausrichtung modell- und institutionsspezifisch ist, muss Validierung lokal und kontinuierlich sein – Genauigkeitskennzahlen von anderswo sind kein Beleg für Einsatzreife. Weil Noten zur Mitte hin komprimiert waren, war KI an den Notengrenzen und bei den stärksten und schwächsten Einsendungen am ungenauesten, also dort, wo Assessmententscheidungen die größte Tragweite tragen. Und weil eine Abweichung zwischen einer KI- und einer menschlichen Note unterschiedliches Urteil statt bloßen Fehler widerspiegelt, sollten Diskrepanzen menschliche Interpretation auslösen statt algorithmische Übersteuerung, wobei die letzte Autorität über die Note bei Menschen bleibt. Die Übernahme bringt auch KI-Governance-Verpflichtungen mit sich, die die technischen Metriken nicht erfassen: ein Recht auf Erklärung nach DSGVO Artikel 22, wo automatisierte Entscheidungen Studierende betreffen, Pflichten aus dem Equality Act, sobald Leistungsniveau und Sprachgebrauch als Einfluss auf Noten gezeigt sind, revidierte Beschwerdeprozesse für nicht leicht auffindbare Fehler, und ein Irreversibilitätsrisiko – sobald sich Personal und Investitionen verlagern, kann eine Einrichtung Mühe haben, weiterhin die menschliche Benotung zu erheben, die sie bräuchte, um zurückzukehren. Die Kombination der drei Modelle beseitigte jenen Fehler nicht: weil ihre Fehler korreliert waren — gleich gerichtet bei 63,4 % der Aufgaben —, war das Corsi et al. (2026)-Ensemble statistisch nicht vom besten Einzelmodell unterscheidbar, sodass die geteilte Kompression zur Mitte bestehen blieb.

Venetsanos (2026) liefert die Kriterien, die diese Anforderungen voraussetzen, und argumentiert, was Automatisierung vertretbar mache, sei der epistemische Status der Aufgabe statt das, was die Technologie technisch leisten könne. Sein Rahmenwerk begrenzt KI auf begrenzte Verifikation von Fakten- und Verfahrensbehauptungen – alle vier von eindeutigen dokumentierten Kriterien, direktem Vergleich gegen etabliertes Wissen, keiner Bewertung alternativer gültiger Ansätze und einer einzelnen richtigen Antwort oder vorspezifizierten akzeptablen Menge müssen gleichzeitig gelten, wobei Mehrdeutigkeit standardmäßig zu einem Menschen eskaliert – und macht KI-Beteiligung auf diesem Niveau konditional an fünf nicht verhandelbaren Prinzipien, die alle gleichzeitig gelten müssen: Die Wissensbasis muss von Beurteilenden kuratiert und retrieval-verankert in Modulmaterialien sein statt im parametrischen Wissen des Modells; menschliche Beurteilende prüfen jede KI-Ausgabe, bevor sie Studierende erreicht, und haben absolutes Override mit nicht geteilter Verantwortung; Feedback muss klare Herkunft und Attribution tragen; und Sicherheit muss von Beginn an gegen adversarialen Einsatz gestaltet sein, mit Eingabebereinigung für in weißem oder kleinem Text, Kodierungen, Bildern oder Dokumentmetadaten versteckte Instruktionen, da erfolgreiche Umgehung eines automatisierten Systems sich durch Studierendenkohorten ausbreitet. Dasselbe Papier ist explizit, dass seine Prinzipien auf gleichzeitige Machbarkeit hin ungetestet sind und dass Beurteilendenzeit für Kuratierung, Sicherheitsinfrastruktur und hochfrequente Aufsicht den Personalaufwand eher verlagern als senken kann – eine Warnung, die neben der Anforderung lokaler Validierung oben steht.

Sicherheit KI-vermittelter Benotung

Eine Red-Team-Evaluation eines alltäglichen Benotungsarbeitsablaufs zeigt die Angriffsfläche, die die Planung für adversarialen Einsatz abdecken muss. Humble (2026) bettete fünf indirekte Prompt-Injektionen in einen synthetischen Essay ein, den Microsoft Copilot (GPT-5.2) in sechs von sechs Baseline-Läufen durchfallen ließ, und iterierte jede über docx-, pdf- und htm-Dateien. Zwei Strategien änderten die Note ohne sichtbare Warnung – ein Instruktionsmanipulations- und Rollenspiel-Absatz bei 9 von 9 Iterationen (100%) und derselbe Absatz, hinter einer Bildebene versteckt, bei 17 von 18 (94%) –, während ein Absatz in kleinem weißem Text am Dokumentende in allen neun Iterationen scheiterte und Dateimetadaten-Injektionen nie funktionierten, was der Autor darauf zurückführt, dass Metadatenzugriff in der getesteten Version deaktiviert war. Das Vertrauensproblem überdauerte die Exploits: Nachdem ein pdf-Lauf eine eingebettete Instruktion entdeckte und erklärte, nur gegen die offizielle Aufgabe zu benoten, hob ein erneuter Lauf derselben Datei die Note sechsmal weiter ohne Warnung an, und ein durch einen erkannten Angriff blockierter Chat wurde still deaktiviert statt dem Nutzer gemeldet. Der Autor argumentiert, die resultierenden Noten trügen in beide Richtungen keinen Validitätsanspruch, ein Angreifer brauche nur eine funktionierende Kombination gegen geschichtete Leitplanken, und die Lehrkraft bleibe die einzige echte Prüfung der Ausgabe, während die Manipulation darauf angelegt sei, nicht sichtbar zu sein – was direkt an die von Venetsanos oben dargelegte Verpflichtung zur Eingabebereinigung und adversarialen Sicherheit anschließt.

Verbindungen

Automatisiertes Assessment verbindet sich mit Validität von Assessments (Qualitätssicherung), Formatives Assessment (Einsatzkontext), Minderung von Bias und Gerechtigkeit (Fairness), Lehre (wie Automatisierung die Arbeit der Lehrenden verändert) und Qualität von KI-Feedback (Benoten ohne nützliches Feedback hat begrenzten Bildungswert). Konfidenzbewusstes Assessment ist ein spezifischer Mechanismus innerhalb der breiteren Agenda psychometrisch bewusster KI und ein Beitrag zu kalibriertem Vertrauen.

  • Groß angelegte KI-Benotung handschriftlicher Physik (2026): Ein multimodales Modell (GPT-5.5) benotete 10.364 gescannte Seiten über eine landesweite Physikolympiade-Theorieprüfung, ein Auswahlcamp und eine universitäre Quantenmechanikprüfung hinweg und erreichte Korrelationen der Gesamtscores von 0,91–0,97 mit den offiziellen Marks bei gleichzeitiger Wiederherstellung desselben Olympiade-Teams der Top Fünf. Überarbeitete seitenweise Instruktionen zur Beleglage verbesserten die Übereinstimmung – ein Beleg, dass multimodale KI folgenreiche summative Benotung mit sorgsamem Rubrik- und Prompt-Engineering stützen kann (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes).

  • Selektive Automatisierung für handschriftliche Chemie (2026): Cvengros & Kortemeyer benoteten eine handschriftliche Abschlussprüfung in allgemeiner Chemie mit 296 Studierenden Seite für Seite gegen Rubrikbilder mit einem multimodalen, schlussfolgernden LLM und erreichten hohe Lauf-zu-Lauf-Verlässlichkeit bei Gesamtscores (ICC(A,1) = 0,967) und starke Übereinstimmung der Gesamtscores mit der Benotung durch Tutoren (R² = 0,91). Weil sich Item-Verlässlichkeit scharf nach Format unterschied – textuelle und chemische Reaktionsantworten wurden verlässlich benotet, während Zeichnen und Diagrammerstellung schlechter als zufällig abschnitten –, wurde rohe Übereinstimmung für folgenreichen Einsatz als unangemessen beurteilt. Sie operationalisieren menschlichen Rückverweis über Konfidenzfilter (Teilpunktschwellen, eine IRT-basierte Risikoschwelle und Ausschluss nach Aufgabentyp), die rohe KI-Scores in eine Annehmen/Rückverweis-Politik konvertieren, und zeigen, dass falsche Positive (KI, die tatsächlich falsche Antworten Punkte gibt) tendenziell unentdeckt bleiben, da Studierende sie selten anfechten – ein konkreter psychometrisch fundierter Weg zu selektiver Automatisierung (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).

  • Halb-offene handschriftliche Mathematik in einer Universitätsprüfung (2026): Liu et al. benoteten eine deutsche Mathematikprüfung für Undergraduate mit GPT-4 über zwei Extraktionsrouten (vorab zugeschnittene Antwortfelder gegenüber ganzen Seiten), zwei OCR-Routen und zwei Rubrikformate und berichteten Krippendorffs Alpha gegen menschliche Noten von 0,22–0,44 mit Genauigkeit 0,59–0,62 bei den besten Arbeitsabläufen und Genauigkeit pro Aufgabe über 0,27–0,91 – nicht akzeptabel für folgenreichen summativen Einsatz. Das Aufgliedern mehrkriterieller Benotungsregeln verbesserte die Übereinstimmung allgemein nicht (es half bei der Teilpunkte-Aufgabe), freies Benoten ohne Rubrik war weitaus schlechter (Genauigkeit 0,50–0,51), und ein probabilistischer Konfidenzfilter, der Noten zur menschlichen Nachprüfung markieren sollte, verbesserte die Genauigkeit nicht signifikant, während er 7–41 Prozent der Antworten fälschlich als verlässlich markierte. Die übertragbare Lehre der Studie ist prozedural: scannen und transkribieren Sie das gesamte Prüfungsblatt mit Markierungen statt Antwortfelder zuzuschneiden, weil Studierende über Feldgrenzen hinweg schreiben; schreiben Sie Benotungsregeln, die für Tutorinnen und Tutoren geschrieben wurden, um, da das Modell aus einer für einen Menschen gedachten Regel unverlangte Herleitungen versuchte; und beachten Sie, dass die menschlichen Benotungsregeln selbst bei einem Alpha von 0,88 unter fünf Varianten paraphrasierten, Prompt-Robustheit also nicht der Engpass ist.

  • LLM-Vergleichsurteil für Schreib-Screening (2026): Mercer & Reed nutzten sieben LLMs als paarweise vergleichende Richter, um informatives Schreiben von 1.208 Studierenden der Klassen 3–6 über drei Screeninganlässe hinweg zu bewerten. LLM-CJ-Scores korrelierten stark mit analytischen Rubrik-Scores (r = 0,67–0,73, am stärksten für Gemini-3.1 Pro) mit AUC 0,82–0,86 für Kompetenz; die Befunde waren stabil über Modelle hinweg, mit geringem Validitätsgewinn aus teureren, leistungsfähigeren, während das Mitteln über drei Schreibproben die Genauigkeit verbesserte – Stichprobenbreite zählte mehr als Modellwahl. Muster prädiktiven Bias für mehrsprachige Lernende glichen der Bewertung durch menschliche Rubriken, was LLM-CJ als effizienten, kostengünstigen Screeningansatz stützt (Validity of Large Language Model Comparative Judgment for Universal Writing Screening).

  • Qualitätsabhängige Ausrichtung an Lehrendenbenotung (2026): Beim Vergleich von ChatGPT, Peers und einer Dozentin bzw. eines Dozenten bei der Benotung derselben Gruppenprojekte von Undergraduates fanden Usher & Faraon, dass sich die Ausrichtung von ChatGPT an der Dozentur bzw. dem Dozenten verbesserte, wenn die Projektqualität stieg – ihre größte Überschätzung lag bei Arbeit geringer Qualität (≈ +14 Punkte) und schrumpfte auf ≈ +2,5 Punkte bei Projekten hoher Qualität. ChatGPT benotete auch im Mittel höher als sowohl Peers als auch die Dozentur bzw. der Dozent, eine Tendenz zur Noteninflation, die seine Verlässlichkeit als alleinstehender summativer Bewerter untergräbt, besonders bei schwächeren Einsendungen.

  • Übereinstimmungsstatistiken kleiner Korpora können Einsatzentscheidungen in die Irre führen. Die Bewertung von 60 Marketing-Posts (15 Studierende plus 15 von Forschenden verfasste Anker geringer Qualität) gegen zwei unabhängige menschliche Beurteilende ergab absolute Übereinstimmung ICC(2,1) von 0,435 für das LLM, 0,266 für einen gleichgewichteten Regel-plus-LLM-Hybrid und 0,091 für deterministische Regeln, mit MAE von 6,28, 10,53 bzw. 17,22 Punkten auf einer 0-100-Skala; der Hybrid war signifikant schlechter als das LLM allein (paarige ICC-Differenz −0,169, 95%-KI [−0,260, −0,106]). Das Hinzufügen von Ankern hob die Inter-Rater-ICC von 0,338 auf 0,902 und die LLM-Übereinstimmung von 0,435 auf 0,846, und ein fast leerer Post erhielt 75 gegen einen menschlichen Mittelwert von 30,5, was zeigt, dass eine einzelne degenerierte Antwort eine kleine Evaluation dominieren kann. (Agreement and error in automated scoring of student marketing posts)

  • Strukturierte LLM-Benotung kann analytisch aussehen, ohne diagnostisch zu sein (2026): Die Bewertung von 3.041 Antworten auf 50 Informatikfragen erzeugte bei drei kommerziellen LLMs Rubrik-Subdimensionen, die nahezu redundant waren (r = 0,82–0,99, VIF bis 45), und benannte Fehlvorstellungen in nur 4,8–7,4% der Kommentare gegenüber 15,0% bei Dozentinnen und Dozenten (Zhao et al., 2026).

Verbundene Konzepte

Verbundene Artikel

Verknüpfte FAQs

Metadaten

ZielgruppeInstructors
Technologien und VerfahrenGroße Sprachmodelle (LLMs)
Assessment und MessungLeistungsbeurteilung, Validität von Assessments, Automatisiertes Assessment, Automatisierte Bewertung von Aufsätzen, Formatives Assessment
Gerechtigkeit, Ethik und verantwortungsvoller EinsatzMinderung von Bias
Grundlagen von KI in der BildungLehre
SourceHistoryEditChat

Diese Seite einbetten

Kopieren Sie den Code unten, um diese Seite in ein Lernmanagementsystem oder eine andere Website einzubetten. Die eingebettete Version zeigt nur den Seiteninhalt — Kopfzeile, Navigation und Fußzeile der Website werden ausgeblendet.