AIEd-WissensbasisAIEd KB
Auf dieser Seite

Diese Seite wurde maschinell ins Deutsche übersetzt; die Artikelseiten sind weiterhin auf Englisch verfasst. Diese Seite auf Englisch lesen

Konzepte

Validität von Assessments

Erstellt 2026-08-09 · Aktualisiert 2026-10-10

Dies ist eine automatische Übersetzung der englischen Seite; sie wurde noch nicht von einer muttersprachlichen Person geprüft.

Validität von Assessments — ob Assessments messen, was sie zu messen behaupten. KI in der Bildung wirft grundlegende Validitätsfragen auf: Bewerten KI-bewertete Assessments das Lernen der Studierenden oder KI-Prompting-Fähigkeit? Invalidiert KI-Nutzung traditionelle Assessment-Annahmen?

Fragen zum Nachdenken

  • Validität fragt, ob ein Assessment misst, was es zu messen behauptet. Bevor Sie weiterlesen: Wenn Sie eine lernende Person einen ausgefeilten Aufsatz einreichen sehen, von dem Sie KI-Unterstützung vermuten, würden Sie das größere Problem im Fälschen sehen oder darin, dass die Aufgabe nicht mehr das maß, von dem Sie dachten, sie messe es?
  • Diese Seite stellt eine scharfe Frage: Wenn Lernende KI nutzen, spiegelt die Punktzahl das Wissen der lernenden Person oder KI-Prompting-Fähigkeit? Können Sie an ein Assessment denken, das Sie gestaltet oder absolviert haben, bei dem die Punktzahl Ihnen heute möglicherweise mehr über das Werkzeug als über die lernende Person sagt?
  • Ein Kernbefund ist, dass dieselbe Lernendeneingabe semantisch unterschiedliche Antworten erhalten kann, je nachdem welches zugrunde liegende LLM genutzt wird — was „konstruktirrelevante Varianz" einführt, die Verlässlichkeit und Fairness bedroht. Wenn zwei Lernende rein wegen des Modells dahinter unterschiedliche KI-Unterstützung erhalten — wie fair ist der resultierende Vergleich?
  • Die Seite argumentiert, dass selbst wenn ein LLM gut abschneidet, die Übertragung menschlicher Punktzahlinterpretationen Ähnlichkeit in der latenten Struktur der Antworten erfordert —, und LLMs weichen hier von Menschen ab. Was legt das nahe über das Vertrauen in eine KI, die eine für Menschen entworfene Prüfung „besteht"?
  • Statt zu versuchen, KI-Nutzung zu erkennen, argumentiert die Wissensbasis für die Neugestaltung von Assessments, damit sie für KI-fähige Lernende valide bleiben. Warum könnte die Neugestaltung der Aufgabe eine validitätsbewahrendere Strategie sein als die Überwachung, ob KI genutzt wurde?
  • KI dient heute als Prüfling, Aufgabenerstellerin, Bewertende und Analytikerin —, was die Interpretationskette opak macht. Wenn jede Rolle in einem Assessment von KI besetzt wird, was bedeutet es dann überhaupt noch, zu sagen, ein Assessment sei „valide" für die menschliche lernende Person in seiner Mitte?

Einführung

Validitätsherausforderungen

  • Konstruktvalidität: Wenn Lernende KI bei Assessments nutzen, spiegelt die Punktzahl das Wissen der lernenden Person oder KI-Fähigkeit? Performance vs. learning Forschung adressiert das direkt.

  • Konstruktirrelevante Varianz über LLMs hinweg in konversationsbasiertem Assessment: Hao (2026) zeigt, dass selbst für eine einzelne konversationelle Wendung der semantische Inhalt LLM-generierter Antworten über Modelle und Konversationskontextbedingungen hinweg variiert. Ähnlichkeit innerhalb eines Modells übersteigt konsistent Ähnlichkeit zwischen Modellen (0,715–0,795 gegenüber 0,443–0,604), und das Hinzufügen von Chatverlauf verändert den Antwortinhalt bedeutsam (mittlere Ähnlichkeit über Verläufe hinweg ~0,40–0,45). Weil dieselbe Lernendeneingabe semantisch unterschiedliche Antworten erhalten kann, je nach zugrunde liegendem Modell, können Prompting und Kontext allein Antwortkonsistenz nicht bewahren —, was potenzielle konstruktirrelevante Varianz einführt, die Validität, Verlässlichkeit und Fairness bedroht. Konsistente Assessmentbedingungen aufrechtzuerhalten, während LLMs sich entwickeln, ist daher eine Infrastrukturherausforderung (symbolische Regeln, Antwortvorlagen, Validierungsschichten), nicht bloß eine des Promptings.

  • Evidenz, die vorhanden ist, aber niemals die Bewertende erreicht: Abreu, Stari und Martí (2026) benennen eine konstruktirrelevante Bedrohung, die jedem Schlussfolgern vorausgeht: In KI-Review experimenteller Laborberichte in Physik kann eine Gleichung, ein Graph, eine Tabelle oder eine Einheit korrekt in einem Bericht enthalten sein und dennoch nicht aus den verarbeiteten Inhalten abgerufen werden, mit denen das Modell arbeitet, und weil ein verändertes Vorzeichen, ein veränderter Wert oder eine veränderte Einheit die physikalische Interpretation verändert, muss eine Abweichung von der Lehrkraft keinen Schlussfolgerfehler anzeigen. Ihr Abhilfemittel ist prozedural — hochauflösende PDFs statt fotografierter Scans, in einem Gleichungseditor geschriebene Gleichungen, lesbare Achsen und Einheiten in Abbildungen, und Anweisungen, die für jede Punktzahl eine konkrete Zitation verlangen —, weil Dokumentqualität die Obergrenze dafür setzt, welche Validitätsbehauptung die resultierende Punktzahl stützt.

  • Latente Strukturvalidität zwischen Menschen und LLMs: Strugatski et al. (2026) fügen eine tiefere Validitätsbedingung hinzu: Selbst wenn ein LLM gut bewertet, erfordert die Übertragung menschlicher Punktzahlinterpretationen Ähnlichkeit in der latenten Struktur der Antworten. Im Vergleich von sechs multimodalen LLMs mit menschlichen Kohorten an Instrumenten für Chemie und quantitatives Schlussfolgern finden sie, dass LLM-Mensch-Faktorstrukturen konsistent divergieren (LLM-Mensch-Kongruenz unter der Mensch-Mensch-Baseline), sodass Leistung bei einer auf Menschen genormten Prüfung schwache Evidenz über LLM-Fähigkeiten bei den Konstrukten ist, die die Items zu messen entworfen wurden.

  • Konsequenzielle Validität: Haben KI-vermittelte Assessments faire Konsequenzen? Studien zu Sprachbias zeigen, dass KI-Bewertung Nicht-Muttersprachlerinnen und Nicht-Muttersprachler benachteiligen kann.

  • Ein bewegtes Ziel im Sprachentesten. Folgenreiche Tests wie TOEFL iBT, IELTS, PTE Academic und der Duolingo English Test verlangen weiterhin unassistiertes, zeitbegrenztes Lesen und Schreiben, während Studierende GenAI inzwischen für genau jene Aufgaben im akademischen Leben nutzen, sodass die Extrapolationsinferenz — von unassistierten Punktzahlen auf tatsächliche akademische Leistung — der am stärksten betroffene Schritt ist (Gonulal (2026)).

  • Regelumfang ist selbst eine Validitätseigenschaft: Wright (2026) argumentiert, die Verbote, die seit 2023 in der Hochschulbildung geschrieben wurden, untersagten „generative KI" ohne die technische Präzision, die Erzeugung bewerteter Inhalte von der Konvertierung eines Formats zu trennen, da optische Zeichenerkennung, Erkennung handschriftlichen Texts und Speech-to-Text Erkennungs-technologien sind, die erschließen, was bereits vorhanden ist, statt neue Inhalte zu produzieren. Wo eine Regel an Plattformidentität statt an Funktion ansetzt, ist sie per Definitionszufall überinklusiv: Sie erfasst rein transkriptive Nutzung eines multifunktionalen Werkzeugs und sanktioniert eine lernende Person, die nicht das getan hat, was die Regel zu verhindern entworfen war, und fällt damit am härtesten auf Lernende, die für Barrierefreiheit auf diese Werkzeuge angewiesen sind — eine Inferenz, die das Assessment über das Konstrukt, das es zu messen behauptet, nicht stützen kann. Er schlägt funktionsbasiertes Formulieren vor plus vier operative Kriterien (Treue, Nicht-Augmentation, Nachverfolgbarkeit, Beurkundung) für Grenzfälle, und behandelt das Vertrauen auf Detektorausgaben und Stilheuristiken als Evidenz dafür, wie schwach die eigene Evidenzbasis der Regel ist.

  • Agentische Vervollständigung entfernt die Annahme menschlicher Produktion: Hadjisolomou & El-Haddad (2026) erweitern die Validitätsanalyse von generativer Unterstützung auf agentische Vervollständigung: Autonome KI-Agenten können sich heute in ein LMS einloggen, Materialien lesen und unaufgesehene asynchrone Arbeit von Ende zu Ende abschließen (demonstriert an einem laufenden Kurs — ein Quiz wurde in unter 5 Minuten mit 10/10 bewertet, und eine fabrizierte, aber glaubwürdige Diskussionsforen-Reflexion). Indem sie eine „Annahme menschlicher Produktion" an die Basis von Kanes argumentbasierter Inferenzkette setzen, zeigen sie, dass agentische Vervollständigung die Rückendeckung für die Bewertungsinferenz stillschweigend entfernt, auf der Generalisierungs-, Extrapolations- und Entscheidungsinferenzen alle ruhen —, sodass jede unaufgesehene asynchrone Punktzahl, einschließlich redlich erworbener, ihre Interpretationsstütze verliert, weil Urheberschaft nicht verifizierbar ist. Ihr entscheidender Schritt ist, das als Validitätsversagen statt als Integritätsversagen zu klassifizieren: Eine Institution kann Fehlverhalten bestrafen und dennoch keine Grundlage für die Punktzahlen haben, die sie berichtet. Detektion ist strukturell unzureichend (Klassifikatoren unzuverlässig und verzerrt; LMS-Überwachung sieht dieselben Klicks, die eine lernende Person auch täte), daher ist das Abhilfemittel Assessment-Neugestaltung für verifizierte menschliche Anwesenheit (eine kurze mündliche Komponente, prozessichtbare Entwürfe, kursitzungsspezifische Referenzen), mit einem gerechtigkeitsbewahrenden Menü von Optionen statt eines Aufsichtsmandats.

  • Konstruktirrelevante Varianz in menschlicher Bewertung GenAI-assistierter Arbeit: Luo & Dawson (2026) liefern eine direkte empirische Demonstration, dass menschliche Bewertung GenAI-assistierter Arbeit von konstruktirrelevanter Varianz durchzogen ist. In szenariobasierten Interviews mit 33 Universitätslehrenden wurden Bewertungsentscheidungen von personenorientierten (Ehrlichkeit und Fleiß der lernenden Person), fähigkeitsorientierten (Unabhängigkeit von KI, GenAI-Fähigkeit, fachliche Meisterschaft), beziehungsorientierten (mit Lernenden aufgebautes Vertrauen) und gerechtigkeitsorientierten (Fairness, Wohlwollen) Werten getrieben —, die alle Noten an Faktoren variieren lassen können, die mit den bewerteten Ergebnissen nichts zu tun haben. GenAI-assistierte Arbeit herabzustufen ist ihrer Argumentation nach genau dann gerechtfertigt, wenn die KI-Nutzung die Lernenden daran hinderte, die bewerteten Ergebnisse zu demonstrieren; andernfalls bedroht wertgetriebene Bewertung die Validität. Die Studie verankert die Validitätsrahmung in echter Lehrkraftpraxis und fordert „zweiseitige Transparenz" — Lehrende klären, wie GenAI-Nutzung Noten beeinflussen wird, nicht nur Lernende erklären Nutzung.

  • Variation im großen Maßstab verlangt Erzeugung konstruktäquivalenter Varianten: VARIA (Lee 2026) unterzieht die Prämisse „Variation im großen Maßstab" von AI-Integrated Authentic Assessment (AIAA) — Aufsichtsproctoring durch Aufgabenvariation pro lernende Person ersetzen — einer empirischen, falsifizierbaren Prüfung. Weil jede Prüfperson eine einzigartige, aber äquivalente Performance-Aufgabe erhält, ist die Integritätsgarantie davon abhängig, dass LLMs Varianten erzeugen, die gleichzeitig oberflächlich verschieden, konstruktäquivalent, rubrikanwendbar und schwierigkeitsabgeglichen sind. Beim Benchmarking dreier Frontier-Modellfamilien über vier Promptingstrategien an 600 Varianten findet VARIA, dass Frontier-Generatoren die gemeinsamen Integritätskriterien nur am Rand erfüllen (gemeinsame Punktzahl 0,81–0,88), während Nicht-Frontier-Referenzen zusammenbrechen (0,50–0,55), und keine einzelne Promptingstrategie alle vier Eigenschaften dominiert —, sodass „Variation im großen Maßstab nicht durch Prompting allein lösbar ist", wenn die Diversitätsschwelle aggressiv gesetzt wird, und Institutionen ihr spezifisches Modell-Prompt-Paar validieren müssen.

  • Unterbewertungsbias in HITL-KI-Bewertung ist ein Validitätsmerkmal, kein Fehler: Curi et al. (2026) zeigen, dass in einer großmaßstäblichen nationalen Schreibbewertung der systematisch konservative (unterbewertende) Bias eines LLM-Bewerters, problematisch als endgültige Entscheidung, genau das ist, was sichere Delegation ermöglicht: KI-markierte „bestehende" Antworten können mit Zuversicht akzeptiert werden, während KI-markierte „durchfallende" Antworten (15,3–16,5% der Fälle) an Expertenreview weitergeleitet werden —, was die Validitätsbedrohung durch KI-Fehler vom Endergebnis fernhält. Ihre IRT-und-Bookmark-Pipeline macht die Wirkung von KI-Bewertung auf die Kompetenzstufe sichtbar, statt rohe Punktzahlübereinstimmung als einziges Validitätssignal zu behandeln.

  • KI-getriebene Noteninflation als Validitätsbedrohung: Chirikov (2026) identifiziert einen neuartigen, technologisch getriebenen Mechanismus der Noteninflation, der vorgelagert zur Bewertung wirkt — auf die Produktion bewerteter Arbeit. In einer Differenz-von-Differenzen-Studie über 500.000+ Noten in 319 Kursen (2018–2025) stieg in Kursen mit mehr KI-exponierten Aufgaben (Schreiben, Programmieren) der Anteil an A-Noten nach ChatGPTs Veröffentlichung um 13 Prozentpunkte, mit Kompression der Notenverteilung. Eine Dreifach-Differenzen-Analyse zeigt, dass der Effekt sich in hausaufgabenintensiven Kursen konzentriert — Evidenz dafür, dass KI-Aufgabenverdrängung (KI erledigt bewertete Aufgaben, bevor Lehrende sie beobachten) Noten aufbläst ohne entsprechenden Anstieg der Fähigkeit. Das reduziert die Vergleichbarkeit von Noten über Kurse hinweg und erodiert den Informationswert von Transcripts auf Weisen, die aus Notenverteilungen allein schwer zu erkennen sind.

  • Programmebene-Anfälligkeit für Bestehen/Durchfallen, und die Bewertungskriterien, die sie setzen: Ivory et al. (2026) beurteilten ChatGPT-Ausgabe für jedes Kurs-Assessment in einem dreijährigen Psychologiestudiengang (40 Assessments, 16 Typen) mit einem binären Bestehen/Durchfallen, der Entscheidung, die Bewertende beim ersten Lesen tatsächlich treffen: 36 von 40 bestanden. Zwei Validitätsimplikationen folgen. Erstens ist die operative Variable die Bestehensgrenze, nicht Detektion — Bewertung, die strukturelle Flüssigkeit und die korrekte Wahl der Analyse belohnt, während sie inkorrekte Werte duldet, lässt fabrizierte Statistiken und halluzinierte Referenzen ein Bestehen erreichen, sodass das Assessment Werkzeugausgabe als Verständnis der lernenden Person zertifiziert, wegen der Art, wie es bewertet wird, statt weil jemand getäuscht wurde. Zweitens gaben Multiple-Choice-Items ihre eigenen Antworten preis: ChatGPT beantwortete Statistikfragen korrekt ohne die Abbildung oder die Ausgabetabelle, die den Lernenden gezeigt wurden, weil Itemstamm und Optionen die Antwort implizierten, was das Design der Antwortoptionen zu einer Validitätseigenschaft des Items macht statt zu einer Eigenschaft der KI.

  • Genauigkeit gegenüber Übereinstimmung als verschiedene Validitätssignale: Falahat, Das, Bhaumik & Thambi (2026) bewerteten eine 21-Item-Pharmazieprüfung mit ChatGPT-5 und fanden, dass mäßige prozentuale Genauigkeit häufig mit niedrigen Konkordanz-Korrelationskoeffizienten koexistierte — eine methodologische Unterscheidung zwischen Bewertungsgenauigkeit und Übereinstimmung, die die Verlässlichkeit von KI als Ersatz für Bewertung begrenzt, selbst wo rohe Genauigkeit akzeptabel aussieht. Übereinstimmung war stark bei objektiven Items (CCC 0,935–1,000), aber nahe null bei Kurzantworten und mäßig beim Aufsatz (0,341–0,854), und die Bereitstellung einer Rubrik schloss die Lücke nicht konsistent.

  • Validität KI-generierter Items: Assessing AI-Generated Exams zeigt, dass KI-generierte Fragen, validiert per bayesscher IRT, Schwierigkeit und Trennschärfe auf dem Niveau von Items standardisierter Prüfungen aus Expertenhand erreichen (Verlässlichkeit 0,79 gegenüber 0,72) —, was die Validität kursangepasster KI-generierter Assessments stützt, wenn sie durch psychometrische Evaluation gestützt werden.

  • Authentisches Prüfen: Authentisches Prüfen und die AI Assessment Scale schlagen validitätsbewahrende Assessment-Neugestaltungen vor.

  • Zuversicht und Kalibrierung: Zuversichtsbewusste Systeme verbessern Validität, indem sie unsichere Assessments markieren.

  • Verkörperte und multimodale Evidenz: Nur auf Sprache gestütztes Assessment kann verbale Flüssigkeit mit konzeptuellem Wissen verwechseln; Morphew et al. zeigen, dass Gestenanalyse durch Computer Vision gekoppelt mit LLM-Sprachanalyse die Konstruktvalidität und Gerechtigkeit in der KI-Bildung erhöht, indem sie Verständnis erfassen, das durch Geste statt nur durch Worte ausgedrückt wird — und damit Bias gegen Lernende reduzieren, die Verständnis nonverbal ausdrücken.

  • Hausaufgaben hören auf, Fähigkeit zu zertifizieren, wenn ein Modell die Aufgabe lösen kann: Mikhasenko et al. (2026) dokumentieren eine konkrete Invalidierung von Hausaufgaben als Fähigkeitsmaß in einem Bochumer Kurs in Teilchen-physik: Sobald ein generatives Modell eine korrekte Lösung produzieren kann, stellt eine eingereichte Herleitung nicht mehr fest, dass die lernende Person das Problem unabhängig lösen kann. Ihre Antwort trennt die beiden Funktionen — forschungsgeformte, KI-erlaubte Hausaufgaben bleiben als explorative, bonustragende Arbeit erhalten, und eine werkzeugfreie schriftliche Prüfung wird zum alleinigen Bestimmer der Endnote —, eine validitätsgetriebene Arbeitsteilung statt ein Detektionsregime.

  • Entscheidungsorientierte Validität für KI-Bewertung im großen Maßstab: Curi et al. (2026) illustrieren eine entscheidungsorientierte Sicht auf Validität in der nationalen Schreibbewertung Acredita EB: Statt nur zu fragen, ob KI-Punktzahlen mit Menschen übereinstimmen, fragen sie, ob KI-Fehler eine Zertifizierungsentscheidung verändern können. Automatische IRT/Bookmark-Grenzpunktzahlen reproduzierten die operativen Grenzpunktzahlen eng, und systematische KI-Unterbewertung wurde durch Weiterleitung durchfallender KI-Ergebnisse an menschliches Review neutralisiert —, bemerkenswerterweise gegen einen Referenzstandard, der selbst bestritten ist, da zehn Expertinnen und Experten, die dieselben 50 Texte bewerteten, bei keinem Rubrikitem Einstimmigkeit erreichten.

  • Validitätsbedenken der Studierendenseite über KI als Bewertende: AlGhamdi (2026) fügt der Validitätsfrage die Stimme der Lernenden hinzu: 13 Informatikstudierende, deren handschriftliche Schreibaufgabe von ChatGPT bewertet wurde, fragten, ob eine KI-Bewertende Absicht, Anstrengung und institutionelle Bewertungsnormen valide interpretieren kann —, wobei einer spitz fragte: „If ChatGPT [is] checking the exams, why are we going to university?"

  • Erlaubnis allein degradiert die Aufgabe nicht, und Nutzungsraten sind das falsche Validitätssignal: Zou et al. (2026) befragten 85 Lehramtsstudierende, deren Assessments generative KI ausdrücklich erlaubten, und fanden das Assessment-Engagement hoch und statistisch unbeeinflusst davon, ob Lernende sie nutzten (Mittelwert 4,21/5, SD 0,46; Mann–Whitney U = 781,5, r = 0,07, p = 0,536). Da 62,4% (53) generative KI überhaupt nicht nutzten und die Nutzung der Übernehmenden weitgehend auf Korrekturlesen (43,8%) und Klarheitsprüfungen (34,4%) beschränkt war, trägt die Übernahmerate wenig Information darüber, ob das Assessment noch eine Inferenz über Lernen rechtfertigte —, und Nichtnutzung aus Angst vor falscher Plagiatsanklage (41,5% der Nichtübernehmenden) ist ebenfalls keine Evidenz für Validität.

  • Stichprobenrahmen-Validität, wenn ein Schul-Level-Test als Systemevidenz gelesen wird: Restrepo Morales et al. (2026) geben der Inferenz von Punktzahlen zu Behauptungen über ein System eine quantitative Behandlung. Ein Piloten-Assessment von 1,198 Freiwilligen in 171 salvadorianischen Schulen am PISA-basierten Test for Schools erzeugte Ergebnisse, die als vergleichbar mit Deutschland und Schweden angekündigt wurden, aber das Instrument erzeugt Schätzungen für eine Schule und wird nicht unter dem nationalen Stichprobenrahmen mit seinen Antwortratenstandards, Ausschlussgrenzen und Gewichtung administriert —, sodass ein Vergleich zwischen einer Schul-Level-Schätzung und einem Landesmittelwert mindestens drei nicht berichtete Unsicherheitsquellen trägt (Stichprobenfehler auf Schulebene, Stichprobenfehler des Landesmittelwerts und der Verknüpfungsfehler der Skalenäquating). Statt die Lernbehauptung zu testen, begrenzen die Autoren sie: Da die oberen 5,5% der salvadorianischen Mathematikverteilung unter null Lernen dem deutschen Mittelwert entsprechen, und freiwillige Teilnahme verstanden wird, Leistungtests nach oben zu verzerren, kann die veröffentlichte Evidenz einen echten Effekt nicht von einer selektierten Stichprobe trennen. Das ist ein Versagen der Validitätsinferenz des Vergleichs, nicht der Lernenden oder des Instruments.

Ein konzeptueller Vorschlag wirft eine Validitätsgrenze auf, die für jedes KI-vermittelte Assessment auf dieser Seite gilt: El Khoury und Ma (2026) argumentieren, Geschwindigkeit sei nicht Validität, und KI-generierte Prompts, Beispiele und transkriptbasierte Berichte müssten dennoch auf Genauigkeit, kulturelle Responsivität, Barrierefreiheit, Interpretierbarkeit und Ausrichtung an Kursergebnissen getestet werden. Sie erweitern auch, was als Evidenz zählt: Wo Dialog zum bewerteten Artefakt wird, ist das Transkript eine Prozessaufzeichnung, in der Urteilsvermögen, Empathie, Klärung und geteilte Entscheidungsfindung sich im Kontext entfalten, und die Designfrage wird, ob diese Evidenz die aus ihr gezogene Inferenz stützt — dieselbe Frage, der automatisierte Bewertung gegenübersteht, beantwortet durch Ausrichtung unter Aufgabe, Feedback und Evidenz des Lernens statt durch technologische Neuheit.

  • Von KI zugewiesene Item-Metadaten sind keine psychometrische Evidenz. Über eine 10-wöchige Data-Science-Studie mit 311 eingesetzten Multiple-Choice-Items verfolgten LLM-Schwierigkeitsbewertungen die eigenen Bloom-Labels des Modells (rho = 0,90), aber nicht die empirische Itemschwierigkeit (rho = 0,06), sodass Itemschwierigkeit aus Antwortdaten etabliert werden muss statt aus den Labels des generierenden Modells (An & Wang, 2026).
  • Urteile der Studierenden über Curriculum-Ausrichtung folgen der Schwierigkeit, nicht dem Inhalt. Vogt et al. (2026) baten Lernende zu bewerten, ob jedes Item in einer bewerteten 60-Item-Prüfung am Curriculum des Kurses ausgerichtet war, und fanden, dass die Bewertungen mit der Itemschwierigkeit bei ρ = 0,762 korrelierten (leichtere Items als ausgerichtet beurteilt, schwerere Items als nicht ausgerichtet, ρ = −0,762, p < 0,001), während sich die Bewertungen nicht nach Itemquelle unterschieden. Wo ein Instrument Lernende bittet, die curriculare Passung eines Assessments zu beurteilen, ist die resultierende Punktzahl teilweise eine Schwierigkeitsbewertung und kann nicht als unabhängige Evidenz für Ausrichtung gelesen werden.
  • Richten Sie das Assessment-Dreieck neu aus, statt eine Ecke zu flicken. Koretsky et al. (2026) rahmen das GenAI-Problem durch das Assessment-Dreieck — Kognition (was bewertet wird), Beobachtung (wie Evidenz des Lernens hervorgerufen wird) und Interpretation (die gezogene Inferenz) — und argumentieren, die drei Ecken müssten gemeinsam neu ausgerichtet werden, da das Neugestalten von Aufgaben ohne Reparatur der Interpretation die Inferenz ungestützt lässt. Ihr Scoping-Review macht auch die Treue KI-generierter Assessmentmaterialien zu einer Validitätseigenschaft aus eigenem Recht, katalogisiert inhaltliche, sprachliche, kognitive, verhaltensbezogene, strukturelle und pädagogische Dimensionen, und verlangt Human-in-the-Loop-Evaluation, bevor solche Aufgaben Assessment begründen.

Neugestaltung gegenüber Detektion

Die Wissensbasis argumentiert, dass die Wahrung von Assessmentvalidität die Neugestaltung von Assessments für KI-fähige Lernende erfordert, nicht die Erkennung von KI-Nutzung. Ein paralleles Validitätsproblem läuft durch Forschungsmessung: Viele Behauptungen zu KI in der Bildung ruhen auf Selbstauskunftsdaten, die eine Inferenz über Lernen oder Kompetenz nicht stützen können, wie gut das Instrument selbst auch validiert ist. Beyond detection approaches und Assessment repräsentieren validitätsvorwärtsgerichtetes Denken.

Mitnehmeprodukte und die qualitative/quantitative Spaltung. Brunnström und Palmqvist (2026) geben dem Neugestaltungsargument einen konkreten Vorschlag, der in der SOLO-Taxonomie gründet. Beim Durcharbeiten einer Kognitionswissenschafts-Mitnehmeprüfungsfrage mit einem Chatbot finden sie, dass GenAI genau dort am stärksten ist, wo die Taxonomie am niedrigsten ist — es produziert umfassende, flüssige, faktische Inhalte auf der quantitativen (multistrukturellen) Stufe —, während die qualitative Stufe (Beziehen, Bewerten, Generalisieren) nur durch wiederholte lernendengerichtete Kalibrierung auftauchte. Ihre Empfehlung ist daher nach Konstrukt differenziert: Mitnahme-Assessments sollten Evidenz qualitativen Verständnisses betonen, während quantitatives abrufbasiertes Wissen besser im Kursraum bewertet wird, wo GenAI nicht verfügbar ist. Die Demonstration unterstreicht auch, dass ein ausgefeiltes eingereichtes Artefakt in beide Richtungen schwache Evidenz ist, und dass valide Neugestaltung berücksichtigen muss, wie anspruchsvoll legitimes KI-unterstütztes Lernen sich tatsächlich erweist (summatives Prüfen, akademische Integrität).

Ein Design-Gegenstück stammt aus derselben Population, die das Neugestaltungsargument üblicherweise ignoriert. Zou et al. (2026) fanden, dass reflexive und personalisierte Aufgaben weithin als zu persönlich für KI-Hilfe beurteilt wurden, während ein wissensintensives Assessment in einem anderen Kurs starke Absicht zur Nutzung generativer KI für Referenzen hervorrief —, sodass das, was Lernende mit KI taten, dem Konstrukt folgte, das die Aufgabe sie zu belegen bat. Die Lehre für Validität ist präzise statt feierlich: Design kann den Ertrag aus generischer Substitution entfernen, aber dieselbe Studie warnt davor, eine Opt-out-Kohorte als Beleg dafür zu lesen, dass es das tat, da ein erheblicher Anteil der Nichtnutzung der Angst vor falscher Plagiatsanklage zugeschrieben wurde statt dem Umstand, dass die Aufgabe KI widerstand.

Sharma (2026) liefert ein Neugestaltungsargument auf der Integritätsseite, das Integritätsevidenz in Validitätsevidenz verwandelt. Indem er Eatons (2023) Postplagiat-Rahmung in Assessmentdesign ausdehnt, argumentiert er, detektions- und verifikationsbasierte Integritätsmodelle seien mit Arbeit fehlausgerichtet, in der menschliches Urteilsvermögen und Maschinengenerierung verschränkt sind, und rahmt Integrität als pädagogische Praxis, die durch evaluatives Urteilsvermögen vollzogen wird — die Fähigkeit, Optionen abzuwägen, akademische Entscheidungen zu begründen und Verantwortung unter epistemischer Unsicherheit zu übernehmen. Die Designkonsequenz ist, dass Integrität belegt statt erschlossen werden sollte: Annotierte Entscheidungsspuren, Verifikation von GenAI-beigetragenen Behauptungen, mündliche Verteidigung und Versionsgeschichte werden als Integritätsartefakte angeboten, und er ist ausdrücklich, dass der Unterschied zu authentischem Prüfen epistemisch ist — Authentizität fragt, ob eine Aufgabe reale Praxis spiegelt, integritätsorientiertes Design fragt, ob Lernende Entscheidungen begründen und Verantwortung gegen fachliche Standards übernehmen können, sodass Integrität zu einem bewertbaren Kriterium wird, eingebettet in die Aufgabenarchitektur. Er benennt das Validitätsrisiko seines eigenen Vorschlags, statt es implizit zu lassen: Dokumentiertes Schlussfolgern zu verlangen privilegiert Lernende, die in reflexivem Diskurs flüssig sind, und riskiert „the replacement of one compliance regime with another", weil Urteilsvermögen als Evidenz „remains relational and situated rather than mechanically verifiable" — dasselbe Interpretations-Verlässigkeitsproblem, das diese Seite für jedes KI-vermittelte Assessment verzeichnet.

Weidlich (2026) rahmt Neugestaltung als Frage danach, welche Inferenz eine Veränderung zu schützen bezweckt. Von Kanes argumentbasierter Validität ausgehend, trennt er fünf Drucke, die Debatten dazu neigen zu einem zusammenzufallen: Konstruktunterrepräsentation, konstruktirrelevante Varianz, Attribution der Leistung, bedingte Extrapolation und ungestützte Punktzahlnutzung. KI-Nutzung ist nicht automatisch eine Bedrohung, weil Werkzeugnutzung germane ist, wo das beabsichtigte Konstrukt KI-unterstütztes professionelles Urteilsvermögen ist, und die Zielleistung umgeht, wo es ungeleistetes Schlussfolgern ist, sodass Konstrukt und KI-Bedingungen gemeinsam spezifiziert werden müssen. Seine Mahnung für Neugestaltung folgt, da Interventionen einen Druck gegen einen anderen eintauschen: Mündliche Verteidigungen können Attribution stärken, während sie Verlässlichkeit oder Barrierefreiheit reduzieren.

Verbindungen

Validität von Assessments verbindet sich mit authentischem Prüfen, Automatisierter Bewertung, Zuversichtsbewusstem KI-Assessment, formativem Prüfen, akademischer Integrität und RCTs (die auf gültige Ergebnismaße angewiesen sind).

KI stellt Validität auf epistemischer Ebene infrage: Hathcoat, Slotnick & Miller (2026) argumentieren, wenn LLMs als Prüflinge, Aufgabenhersteller, Bewertende und Analytiker dienen, werde die Interpretationskette opak und der Messgegenstand verliere Definition —, was Validität neu rahmt als KI-flüssiges „Cyborg"-Urteilsvermögen erfordernd, und Green et al. (2026) zeigen, dass KI-Punktzahlen mit menschlichen Bewertenden übereinstimmen können (87% Checkliste), während die zugrunde liegende Begründung divergiert, besonders bei Messqualität und schwachen Berichten.

Wenn KI das bewertbare Artefakt erzeugt. Kumar, Wongsirichot und Nanthaamornphong (2026) geben dem Validitätsproblem seinen schärfsten fachlichen Fall: In der Computing-Bildung erzeugt die KI das Artefakt, das bewertet wird — den Quellcode —, sodass Werkzeugnutzung, Lernen und Assessment in eine einzige Interaktion verschmelzen, und eine eingereichte Codebasis Lernen nicht mehr von Delegation trennt. Über 72 Studien finden sie Effizienzgewinne, die sich nicht auf ungeleistete Leistung übertragen (21 Studien), Vorwissen moderiert, ob KI-Hilfe zu Fähigkeit wird (6 Studien), und Detektionsforschung praktisch abwesend von der Evidenzbasis (3 Studien), während Assessment-Neugestaltung vergleichsweise gut belegt ist (25 Studien). Ihre Schlussfolgerung für die Praxis ist konstruktspezifisch und technisch einfach: Fügen Sie mindestens einem hochstrapazierten Assessment pro Kurs eine mündliche Komponente oder ein anderes prozessichtbares Element hinzu — die einzelne wirksamste Intervention im Review —, und verlangen Sie kritisches Engagement mit KI-Ausgabe als bewertete, beobachtbare Komponente statt als optionale Disposition (akademische Integrität, Assessment).

Validität unter unvollständiger Information

Die schärfste neue Umrahmung behandelt das generative KI-Problem als ein evidentielles. Die lernende Person weiß, wie ein Stück Arbeit produziert wurde; die Institution beobachtet das Artefakt und allenfalls Teilspuren des Prozesses — eine Produkt-Prozess-Lücke, die Mohamed und Temimi (2026) als Assessmentvalidität unter unvollständiger Information formalisieren. Nach dieser Darstellung ist die Frage nicht, ob eine Regel gebrochen wurde, sondern ob das Assessment noch glaubwürdige Evidenz für Schlussfolgern, Anstrengung und Urteilsvermögen der lernenden Person erzeugt, und jeder institutionelle Mechanismus — Verbot, Überwachung, Offenlegung, Neugestaltung — wird danach bewertet, welche Studierendenantwort er am attraktivsten macht. Die Validitätslinse löst auch eine falsche Trennung auf: Integrität und Validität sind dasselbe Problem aus verschiedenen Enden gesehen, weil eine Feststellung von Fehlverhalten selbst eine Validitätsbehauptung darüber ist, was die Arbeit belegt.

Ein lernendenseitiges Rahmenwerk benennt die Inferenzziele, die ein Artefakt allein nicht klären kann. Sak (2026) schlägt attributionale Validität für Urteile über hohe Begabung aus KI-assistierter Arbeit vor: Die Relation von Fähigkeit zu Produkt ist viele-zu-eins, weil Kompetenz der lernenden Person, Modellfähigkeit, die Lenkung durch die lernende Person, Mensch-KI-Passung und Kontext unterschiedlich kombinieren, um äquivalente Artefakte zu erzeugen, sodass das Produkt die dahinterliegende Kapazität nicht identifizieren kann. Das Rahmenwerk trennt vier Inferenzziele — unabhängige Kompetenz, intellektuelle Handlungsfähigkeit, hybride Fähigkeit und entwicklungsbezogene Übertragung —, und benennt drei Fehler, die folgen, wenn Evidenz für ein Ziel als die für ein anderes gelesen wird: Überattribuierung, entwicklungsbezogene Illusion und unterstellte Fähigkeitsäquivalenz. Seine Anforderung an die Aufzeichnung spiegelt die evidentielle Disziplin, die dieser Abschnitt aus der Fehlverhaltensliteratur zieht: Benennen Sie die Fähigkeit, um die es in einem Urteil geht, dokumentieren Sie, wie die Arbeit produziert wurde (Modell und Version, Schnittstelle, erlaubte Funktionen, erwachsene Vermittlung, Zugangsbedingungen), und verlangen Sie spätere Evidenz für Transfer, bevor Sie assistierte Leistung als Veränderung der lernenden Person lesen.

Teichmann (2026) zieht die prozedurale Konsequenz: Wo verbotene Nutzung nicht erkannt werden kann, kann ein Regime, das dennoch auf Detektorpunktzahlen anklagt, die Inferenz, die es zieht, nicht begründen, und erzeugt damit Unfairness ohne Wirksamkeit. Er argumentiert dafür, die forensische Frage — nutzte die lernende Person KI? — durch eine Validitätsfrage zu ersetzen — demonstrierte die lernende Person die Fähigkeit, die die Aufgabe zu zertifizieren entworfen war? —, was institutionelle Anstrengung in Programmebene-Assessment über verknüpfte Aufgaben, mündliche und beaufsichtigte Elemente an Zertifizierungspunkten, und evaluatives Urteilsvermögen als ausdrücklichen Assessmentgegenstand verlegt.

Derselbe Abschnitt der Evidenzbasis liefert das Akten-Gegenstück, und es ist unangenehmer als die Detektionsliteratur allein. Munoz et al. (2026) kodierten jeden generative-KI-Fehlverhaltensfall an einer regionalen australischen Universität über drei Jahre — 1,162 Fälle mit 1,855 diskreten Evidenzitems —, und bewerteten jedes Item für seinen Beweiswert nach Relevanz, Glaubwürdigkeit und inferenzieller Kraft. Die stärksten Kategorien waren jene, die nicht von probabilistischer Klassifikation von Text abhängen (Eingeständnisse der lernenden Personen, beobachtetes verbotenes Prüfungsverhalten, und unabhängig verifizierte fabrizierte Referenzen), während Detektorausgabe die schwächsten Bewertungen aller Kategorien erhielt: Ähnlichkeits- oder Turnitin-Berichte waren in inferenzieller Kraft gänzlich schwach und alleinstehende Detektorausgaben gänzlich gering an Glaubwürdigkeit, fallend von 8,8% der Items in 2024 auf 0,5% in 2025. Das Validitätsversagen ist prozedural so sehr wie instrumental — keine Stufe der Pipeline setzte eine minimale evidentielle Schwelle oder verlangte von Ermittelnden, den Beweiswert abzuwägen, bevor sie eine Anklage vorantrieben, sodass Evidenzqualität keine verlässliche Beziehung zu Fallergebnissen zeigte, was genau das Problem des evidentiellen Standards ist, das auf rechtliche Fragen und Risiken katalogisiert ist. Ihr Vorschlag, ein Credentials-Rahmenwerk am Punkt der Anklage anzuwenden statt nur an dem der Feststellung, ist eine Validitätsforderung: Eine Anklage ist eine Behauptung darüber, was die Arbeit belegt, und sie sollte von Materialien begründet werden, die sie stützen können. Hadra, Cambridge und Mesbah (2026) zeigen, wie weit das Instrument von diesem Standard entfernt ist, mit Makro-Genauigkeit von 0,69 (Originality) gegenüber 0,61 (Turnitin) über 192 Texte, nahezu vollständigem Versagen bei hybridem Mensch-KI-Schreiben (Sensitivität 0,02 und 0,31), sinkender Genauigkeit mit Textlänge und bei wissenschaftlichem Schreiben, und einer grenzwertigen Tendenz, Schreiben von EFL-Studierenden als KI zu fehlklassifizieren —, sodass eine Detektorpunktzahl die Tatsache, die eine Fehlverhaltensfeststellung behauptet, nicht etablieren kann.

Der menschliche-Bewertung-Benchmark und seine Obergrenze

Der OpRaise-Vergleich dreier Frontier-Modelle gegen 761 authentische Aufsätze an drei britischen Universitäten macht den Benchmark Teil des Validitätsarguments. Menschliche Noten wurden als Grundwahrheit genutzt, ausdrücklich mit der Begründung, akademisches Urteilsvermögen sei der gesellschaftlich akzeptierte Standard, während die Autoren anerkennen, dass menschliche Bewertende untereinander nur mäßig übereinstimmen —, was die KI-Mensch-Übereinstimmung begrenzt, die vernünftigerweise gefordert werden könnte, und bedeutet, dass eine Korrelation nicht ohne Referenzpunkt als „bereit oder nicht" gelesen werden kann. Innerhalb dieses Rahmens erschienen die Fehlschläge als systematische Struktur statt als zufälliger Fehler: Noten komprimierten zur Mitte der Skala, sodass die besten und schlechtesten Aufsätze am meisten falsch beurteilt wurden; Übereinstimmung war an Notengrenzen am schwächsten; und KI-Noten folgten Wortschatzbreite, Konnektiven und Satzkomplexität, während menschliche Noten dafür weitgehend unempfindlich waren. Die praktische Lehre ist zweischneidig, weil dieselbe Studie die Verlässlichkeit als exzellent fand — identische Neubewertungen über die Zeit und hohe Übereinstimmung zwischen Modellen. Ein Validitätsfall für automatisierte Bewertung kann daher nicht auf Stabilität oder durchschnittlicher Übereinstimmung ruhen; er muss die Abwesenheit systematischer Abweichung zeigen, was genau das ist, was diese Evidenz nicht fand.

Stabilität von Lauf zu Lauf ist jedoch nicht garantiert: Dieselbe Bewertung fünf Tage später an identischen Einreichungen zu wiederholen gab Krippendorffs Alpha 0,625, wobei die Variation auf die mittleren Noten konzentriert war und A und F in den Zählungen der Wiederholungssitzung fehlten (Brevik et al. (2026)).

  • Modellgröße ist kein Stellvertreter für Assessmentvalidität. Über acht Konfigurationen von vier Familien an 114 bewerteten Aufsätzen erstreckte sich exakte Bandübereinstimmung von 18,4% bis 54,4% und folgte der Familie statt der Parameterzahl — das größte Modell, GPT-OSS 120B, bewertete um 1,316 Bänder zu niedrig, und Temperatur war keine Abhilfe (Kerwat et al. (2026)).
  • Übereinstimmung und Benchmark-Fehler maskieren sich als Lernen. Zwei Studien aus 2026 zeigen verschiedene Wege, auf denen eine Punktzahl valide aussehen kann, während sie etwas anderes etabliert. Eine offene Marketing-Schreib-Studie fand LLM-Mensch-Absolutübereinstimmung von nur ICC(2,1) .435 und ein Hybrid, der signifikant schlechter war als das LLM allein, wobei Ankerzusammensetzung die Übereinstimmung von .338 auf .902 bewegte (Agreement and error in automated scoring of student marketing posts). Ein Experten-Audit von sechs Physik-Benchmarks attribuierte 95,20% der auditierten Ablehnungen defekten Items oder Bewertenden statt Modellfehlern und bewegte CritPt mean@5 von 32,29% auf 87,50% (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). In beiden Fällen ist die Bedrohung konstruktirrelevante Varianz außerhalb des bewerteten Modells.
  • Übereinstimmung unter LLM-Kodierenden ist Konsistenz, nicht Validität. An einem expertenmarkierten Korpus Bildungsdialoge behielt ein kreuzmodeller Übereinstimmungsfilter nur 33 von 74 korpusabgeleiteten Verhaltensbehauptungen und 11 von 48 konstruktabgeleiteten, und geteilte Modellfehler überlebten den Filter, sodass Übereinstimmung zwischen Modellen nicht für Konstruktvalidität einstehen kann (Bernado et al., 2026).
  • Exposition ist messbar, und das Abhilfemittel ist ausreichende Evidenz statt maximale Sicherheit. Villanueva (2026) bewertete 53,915 Assessmentitems nach veröffentlichtem Format, Beaufsichtigung und Notengewicht und fand, dass die meisten bewerteten Noten auf Arbeit ruhen, deren Urheberschaft nach Einreichung nicht verifiziert werden kann; er argumentiert, Programme brauchten genug Evidenz für Lernen an Schlüsselstellen, nicht jede Einheit gesichert.
  • Ein gültiges Maß kann dennoch unsicher zu optimieren sein. Ein LLM-Tutor gegen eine rubric-artige Adaptivitätsmetrik feinzujustieren erhöhte die Metrik (+0,05 bis +0,42), während blinde Expertenbewertungen fielen (4,46 auf 3,03), weil eine Metrik, die Entscheidungen unabhängig bewertet, durch Wiederholung der einzelnen besten Entscheidung maximiert wird (Domínguez Figaredo & Fernández De la Cruz, 2026)).

Verbundene Konzepte

Verbundene Artikel

Verknüpfte FAQs

Metadaten

Assessment und MessungAuthentisches Assessment, Automatisiertes Assessment, Formatives Assessment
Forschungsmethoden und EvaluationRandomisierte kontrollierte Studie (RCT)
Gerechtigkeit, Ethik und verantwortungsvoller EinsatzMinderung von Bias, Gerechtigkeit
Grundlagen von KI in der BildungAkademische Integrität
SourceHistoryEditChat

Diese Seite einbetten

Kopieren Sie den Code unten, um diese Seite in ein Lernmanagementsystem oder eine andere Website einzubetten. Die eingebettete Version zeigt nur den Seiteninhalt — Kopfzeile, Navigation und Fußzeile der Website werden ausgeblendet.