Item-Response-Theorie

Dies ist eine automatische Übersetzung der englischen Seite; sie wurde noch nicht von einer muttersprachlichen Person geprüft.

Item-Response-Theorie (IRT) – eine Familie psychometrischer Modelle, die latente Fähigkeit aus Itemantworten schätzen, indem sie die Beziehung zwischen der Fähigkeit eines Lernenden und der Wahrscheinlichkeit modellieren, jedes Item korrekt zu beantworten. IRT modelliert Itemschwierigkeit und Trennschärfe und ermöglicht Messpräzision und adaptives Testen. Im KI-Zeitalter trifft IRT auf LLMs in Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction und Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach: KI sagt Itemschwierigkeit vorher und kalibriert sie, was die Messpräzision potenziell verbessert und adaptives Lernen speist.

Fragen zum Nachdenken

• Die Item-Response-Theorie behandelt Fähigkeit und Itemschwierigkeit als gemeinsam aus Antwortmustern geschätzt, statt einen rohen Testscore als das Maß zu behandeln. Wie könnten sich zwei Studierende mit derselben Anzahl richtiger Antworten tatsächlich in der Fähigkeit unterscheiden?
• IRT lässt Sie Lernende auf einer gemeinsamen Skala vergleichen und Präzision pro Person schätzen. Warum könnte es mehr zählen, die Schwierigkeit und Trennschärfe eines Items zu kennen, als nur zu wissen, ob ein Studierender es richtig hatte?
• Eine Studie nutzte IRT-Person-Fit-Statistiken, um menschliche von KI-generierten Antworten in Multiple-Choice-Tests zu unterscheiden – und markierte KI-Antworten als „abweichend“. Wie könnte dieselbe Messmaschinerie, die Lernen bewertet, auch akademische Integrität kontrollieren?
• Forschende nutzen IRT, um zu validieren, dass KI-generierte Prüfungsfragen in Schwierigkeit und Trennschärfe zu von Experten geschriebenen passen. Wenn eine KI ein Item schreibt, das „gut aussieht“, warum ist empirische Kalibrierung gegen angepasste IRT-Parameter dann noch nötig?
• Wenn KI Itemschwierigkeit vorhersagt und kalibriert: Was kann schiefgehen, wenn die Schwierigkeitsschätzung eines Modells nicht gegen echte Antwortdaten von Studierenden validiert wird?
• IRT verbindet sich mit adaptivem Testen und Knowledge Tracing – Ihre Antworten nutzen, um zu wählen, was als Nächstes gefragt wird. Wie ermöglicht es die Schätzung Ihrer Fähigkeit aus jeder Antwort, dass ein Test kürzer und präziser wird statt bloß länger?

Einführung

IRT behandelt Fähigkeit (θ) und Itemparameter (Schwierigkeit, Trennschärfe, manchmal Raten) als gemeinsam aus Antwortmustern geschätzt, statt einen rohen Score als das Maß zu behandeln. Das macht es möglich, Lernende auf einer gemeinsamen Skala zu vergleichen, Items adaptiv auszuwählen und Präzision pro Person statt global zu schätzen.

Wie IRT in der Forschung auftritt

• KI-vorhergesagte Schwierigkeit: LLM-Itemschwierigkeitsvorhersage nutzt Sprachmodelle, um Itemschwierigkeit zu schätzen, was gegen empirisch angepasste IRT-Parameter validiert werden muss.

• Psychometrische Kalibrierung: LLM-psychometrische Kalibrierung richtet modellbasiertes Assessment an IRT-basierter Messung aus, damit KI-generierte Antworten Messeigenschaften bewahren.

• Knowledge Tracing und Modellierung von Studierenden: IRT ist eng verwandt mit Knowledge Tracing und Modellierung von Studierenden – Modelle, die das Wissen von Lernenden über die Zeit verfolgen –, und teilt das Ziel, unbeobachtbare Lernendenzustände aus beobachtbaren Antworten zu schätzen.

• IRT-Größen aus LLM-Logits ausgelesen. Huang et al. (2026) extrahieren Studierendenfähigkeit θ = z^GOOD − z^BAD und Tutorzug-Schwierigkeit d = z^HARD − z^EASY aus Next-Token-Logits und kombinieren sie in einem 1PL-Rasch-Prädiktor, wodurch dialogbasiertes Knowledge Tracing interpretierbar wird (64,29% Genauigkeit, 65,25 AUC auf QATD2k).

• Bayesianische hierarchische Feldvalidierung: Assessment KI-generierter Prüfungen nutzt ein bayesianisches hierarchisches 2PL-IRT-Modell (mit Pre-Test-Ankeritems, um 1.686 Studierende auf eine gemeinsame θ-Skala zu setzen), um zu zeigen, dass KI-generierte Fragen in Schwierigkeit und Trennschärfe zu von Experten geschriebenen standardisierten Prüfungsitems passen – eine groß angelegte Demonstration von IRT als Validierungsrückgrat für automatisierte Aufgengenerierung.

• Testinformation lokalisiert Präzision. Ein 20-items Test zur GenAI-Kompetenz, validiert mit einem 2PL-Modell (RMSEA = 0,03, CFI = 0,97), hatte seine Informationsfunktion bei θ = −0,8 am höchsten, wodurch er für Lernende mit niedriger bis moderater Kompetenz am präzisesten war statt gleichmäßig über die Skala (Jin et al. (2025)).

• Menschliche von GenAI-Antworten mit Person-Fit-Statistiken trennen: Strugatski und Alexandron (2026) wenden Person-Fit-Statistiken (PFS) innerhalb von IRT an, um menschliche von generative KIantworten in Multiple-Choice-Assessments zu unterscheiden. PFS markieren GenAI-Antworten in zwei authentischen Kontexten (einem Chemietest und einer nationalen Prüfung) als „abweichende“ Antwortende, zeigen, dass verschiedene Chatbots unterschiedliche Antwortmuster erzeugen (eine heterogene Gruppe von „Intelligenzen“), und offenbaren, dass neuere GenAI-Versionen menschenähnlicher werden –, was IRT als robustes Rahmenwerk für Integritätscreening in folgenreichen Tests positioniert.

• Dieselben Items messen für ein LLM womöglich nicht dasselbe latente Konstrukt. Strugatski, Zeinfeld und Alexandron (2026) verglichen menschliche und LLM-Faktorenstrukturen über zwei Instrumente mit explorativer Faktorenanalyse und Kongruenzabgleich; die LLM-Mensch-Ähnlichkeit blieb verlässlich unter der Mensch-Mensch-Baseline, daher transferieren an Menschen angepasste IRT-Parameter nicht automatisch.

• LLM-Schwierigkeitsschätzung gegen Rasch-IRT-Parameter: Razavi und Powers (2026) evaluieren, ob GPT-4o die Schwierigkeit von K-5-Mathematik- und Lese-Assessmentitems schätzen kann (N = 5.170), die unter dem Rasch-IRT-Modell kalibriert wurden. Ein Zero-Shot-Direktschätzansatz korrelierte moderat bis stark mit den wahren Rasch-Schwierigkeiten (r = 0,83 Mathematik, r = 0,81 Lesen), war aber ungleichmäßig über die Klassenstufen und für die Klassen K und 1 oft nicht besser als eine Dummy-Regression auf den Klassenmittelwert, wahrscheinlich wegen Bereichsbeschränkung bei Schwierigkeiten in unteren Klassenstufen. Eine merkmalsbasierte Strategie – LLM-extrahierte kognitive und sprachliche Merkmale, gespeist in baumbasierte Modelle – übertraf die Direktschätzung (Korrelationen bis r = 0,87), wobei Klassenstufe und Wortzahl die stärksten Prädiktoren waren. Die Studie unterstreicht, dass LLM-Schwierigkeitsschätzungen gegen empirisch angepasste IRT-Parameter validiert werden müssen, und dass strukturierte Merkmalsextraktion die Vorhersage schärfen kann, wo ganzheitliches Zero-Shot-Urteil zu kurz greift.

• Schwierigkeit erklären statt vorhersagen. Cui et al. (2026) passten ein 1PL-Rasch-Modell auf LLM-Antwortaufzeichnungen für GSM8K (1.319 Fragen), BBH-structured (1.396) und WinoGrande (1.267) an, mit 5.000 Modellen für GSM8K und WinoGrande und 3.811 für BBH-structured. Dann ließen sie ein LLM Hypothesen in natürlicher Sprache dafür vorschlagen, warum ein Item schwerer ist als ein anderes, und wählten sie aus mit L1-regulierter Regression auf zurückgehaltenen Fragen. Allein auf ungesehenen Fragen genutzt erreichen die ausgewählten Hypothesen R² = 0,373 auf GSM8K, 0,580 auf BBH-structured und 0,090 auf WinoGrande, das Beste der verglichenen Methoden auf GSM8K und WinoGrande und das zweitbeste auf BBH-structured, wo ein feinabgestimmtes RoBERTa-base 0,646 erreicht. Als zusätzliche Merkmale ergänzen sie +0,11 zu RoBERTa-base auf GSM8K (0,362 auf 0,468) und +0,19 bzw. +0,18 zu zwei eingefrorenen Embedding-Modellen. Eine kausale Sonde bearbeitet 50 Testfragen pro Datensatz in Richtung oder weg von einer Hypothese: Schwierigkeit-erhöhende Bearbeitungen senken die mittlere Genauigkeit um 15,27 bzw. 23,88 Prozentpunkte auf GSM8K und BBH-structured, während Schwierigkeit-senkende Bearbeitungen sie um 32,18 bzw. 28,52 heben. Schwierigkeit wird hier aus Modellantworten geschätzt, nicht von menschlichen Testteilnehmenden, daher ist dies ein LLM-Evaluations- und Psychometrie-Ergebnis.

• Das Simulieren von Antwortenden kann zurückgewinnen, was Regression auf den Stimulus nicht kann: Ein feinabgestimmtes multimodales LLM, das die Wahrscheinlichkeiten der Optionswahl von Studierenden über Fähigkeitsniveaus hinweg reproduziert, approximierte zurückgehaltene Schwierigkeit bei r = 0,85, über den Regressions-Baselines MathBERT (0,68) und MetaMath (0,75), und gewann den Ratenparameter c bei 0,48 zurück, während Trennschärfe a schwach blieb (0,31) (Ormerod & Kim, 2026).

• Mängel der Itemkonstruktion als Voreinsatz-Prüfung für IRT-Parameter: Schmucker und Moore (2026) testen, ob Item-Writing-Flaw-(IWF-)Rubriken – eine domänenübergreifende, textliche Evaluation, die keine Studierendendaten erfordert – empirisch geschätzte IRT-Schwierigkeit und -Trennschärfe vorhersagen. Über 7.126 Multiple-Choice-Fragen in STEM (physikalische Wissenschaften, Mathematik, Lebens-/Erdwissenschaften) hinweg nutzten sie automatisierte, LLM-gestützte Kodierung, um zu zeigen, dass IWF-Rubriken prädiktive Validität für empirische IRT-Parameter tragen und eine skalierbare Voreinsatz-Prüfung bieten, die aufwendiges Pilot-Testen ergänzt oder teilweise ersetzt.

• IRT-basierte Risikofilterung für selektive KI-Benotung: Cvengros & Kortemeyer passten ein zweiparametrisches logistisches IRT-Modell an KI-benotete handschriftliche Chemiedaten an und definieren das „Risiko“ der Annahme eines KI-Urteils als die absolute Abweichung zwischen dem normalisierten Score der KI und der IRT-erwarteten Kreditwahrscheinlichkeit (Risk = |s−p|); nur Items innerhalb einer gewählten Toleranz dieser bayesianischen Erwartung anzunehmen markiert „überraschende“ KI-Scores zur menschlichen Prüfung, was IRT von einem reinen Score-Aggregationswerkzeug in einen operativen Annahme-/Rückverweis-Mechanismus für automatisiertes Assessment verwandelt – einen, der Ausrichtung an menschlicher Benotung ähnlich einfacheren Teilpunktschwellen erzielte, aber mit niedrigerem menschlichem Aufwand, wenngleich seine Logik für nicht-technische Zielgruppen weniger transparent ist.

• IRT als Kalibrierungsschicht innerhalb eines diagnostischen Modells: PLCD ergänzt einen IRT-inspirierten Guessing-and-Slipping-Kopf über antworten auf Aufgabenebene und verbessert damit Wahrscheinlichkeitsqualität statt Genauigkeit – der erwartete Kalibrierfehler fiel von 0,071 auf 0,037 auf XES3G5M –, was IRT zu einer internen Korrektur für Antwortrauschen macht, nicht nur zu einem Scoring-Modell (Liu et al. (2026)).

• Teile-und-herrsche-Kalibrierung für kontinuierlich wachsende Banken: Jewsbury et al. (2026) behandeln IRT-Neukalibrierung als Skalierungsproblem statt als Anpassungsproblem. Wenn KI-basierte Itemgenerierung und merkmalsbasierte Parameterprädiktion eine Bank größer, spärlicher und kontinuierlich aktualisiert machen, wird das Neuanpassen der gesamten Antworthistorie bei jedem Update stetig teurer; ihre Konsensus-Kalibrierung kalibriert stattdessen jede Zeitperiode einmal und kombiniert eine neue Periode mit bereits berechneten früheren Posterioren. Zwei Merkmale unterscheiden sie von bestehender IRT-Teile-und-herrsche-Arbeit: Die Perioden teilen keine latente Metrik, daher wird jede über ein robustes Haebara-Kriterium an eine Referenzmetrik verlinkt, das separat für jeden Posterior-Draw gelöst wird (wobei Linking-Fehler in die verlinkten Posterioren getragen werden), und jede Periode ist ihr eigener hierarchischer Fit, der ein geschätztes Priori beisteuert, daher muss das naive Produkt der Posterioren dieses Priori herausteilen und ein Konsensus-Priori wieder eingesetzt werden –, was auf die Regel der bayesianischen Komitee-Maschine zurückfällt, wenn die Prioris fest sind. Gegen einen gepoolten Benchmark auf vier Quartalsperioden des Duolingo English Test stimmten die Posteriormittel bei r = 0,998 (Schwierigkeit) und 0,991 (log-Trennschärfe) überein, mit Posterior-SDs bei r = 0,970 bzw. 0,920, was milde Unterdispersion (SD-Verhältnis 0,91–0,98) lässt, die im niedrigsten Terteil der Periodenexposition am größten war. Es ist IRT-Kalibrierung, für die Lieferbedingungen neu konstruiert, die KI-generierte Itembanken erzeugen.

• Wie selten IRT die Instrumentvalidierung verankert: Eine Begutachtung der Instrumente zur Lehrkraft-KI-Kompetenz quantifiziert die Abwesenheit von IRT statt seine Nutzung. Zainal, Mohd Matore und Maat (2026) bewerteten 33 Instrumente gegen eine Entscheidungsmatrix, angepasst von COSMIN und Terwee et al. (2007); die strukturelle Validität war stark, mit 24 (72,7%) auf Grade A durch CFA, PLS-SEM oder IRT-Modellierung, doch keines nutzte IRT oder Rasch als primäre Evidenz, und nur fünf Instrumente (15,2%) berichteten Messinvarianz- oder Differential-Item-Functioning-Evidenz. Die Autoren argumentieren für IRT und Performanzaufgaben neben Selbstbewertung, um validierte Fähigkeit von berichtetem Vertrauen zu trennen.

• Eine kausale Alternative zu assoziativem IRT. Mangili et al. (2026) argumentieren, IRT- und bayesianische Netzwerk-Lernendenmodelle könnten Interventionen oder Kontrafaktisches nicht ausdrücken, und erheben stattdessen Strukturgleichungen von Expertinnen und Experten; auf einer adaptiven Testbatterie mit 109 Studierenden war das erhobene Modell etwas weniger prädiktiv (−287 gegenüber −277 Test-Log-Likelihood), stützte aber kontrafaktische Anfragen zu Hilfe.

Verbindungen

IRT ist ein Fundament von Bildungsmessung und Assessmentvalidität, untermauert adaptives Lernen (adaptive Itemauswahl) und Modellierung von Studierenden und verbindet sich mit psychometrisch bewusster KI (Assessment ausgerichtet an der Messtheorie) und Knowledge Tracing. Es erscheint in LLM-Schwierigkeitskalibrierung für Assessment in der Programmierung.

Verbundene Konzepte

• Bildungsmessung
• Validität von Assessments
• Wissensstandsverfolgung
• Modellierung der Lernenden und adaptive Instruktion
• Psychometrisch bewusste KI
• Adaptives Lernen
• Automatisiertes Assessment
• Intelligentes Tutoring

Verbundene Artikel

• What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language — Explaining LLM question difficulty in natural language through IRT and causal edits (Cui et al. 2026)
• The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory — Impact of item-writing flaws on IRT difficulty and discrimination (Schmucker & Moore 2026)
• Causal Modelling of Support Interventions for Student Competency Assessment — Causal Modeling of Support Interventions for Student Competency Assessment
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Do assessment instruments measure the same thing for humans and LLMs? (Strugatski et al. 2026)
• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Large-scale IRT field validation of AI-generated exams
• GLAT: The Generative AI Literacy Assessment Test — GLAT uses IRT/2PL validation (Jin et al. 2025)
• Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — LLM prediction of item difficulty
• Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — Aligning LLM assessment with psychometric calibration
• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — LLM difficulty calibration in programming exams
• Multimodal Item Parameter Estimation using Simulated Response Probabilities — Multimodal item-parameter estimation
• Interpretable Knowledge Tracing — Interpretable knowledge tracing
• Applying psychometric methods to distinguish between human and generative AI responses to multiple-choice assessments — Using IRT to separate human and GenAI MCQ responses
• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Estimating item difficulty using LLMs and tree-based ML
• Assisting the grading of a handwritten general chemistry exam with artificial intelligence
• Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis — Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis
• Bayesian Consensus Calibration of Continuously Evolving IRT Item Banks — Bayesian consensus calibration of a continuously evolving IRT item bank (Jewsbury et al. 2026)
• Assessing teachers' AI literacy: a systematic review of measurement tools — Field audit showing IRT/Rasch rarely used as primary validation evidence in teacher AI literacy instruments
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI and human tutoring yield equivalent GRE learning gains