Madde Tepki Kuramı

Bu sayfada

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Madde tepki kuramı (MTK) — bir öğrenenin yeteneği ile her maddeyi doğru yanıtlama olasılığı arasındaki ilişkiyi modelleyerek, gizil yetenekleri madde yanıtlarından tahmin eden psikometrik model ailesi. MTK, madde güçlüğünü ve ayırt ediciliğini modelleyerek ölçüm isabetini ve uyarlanabilir testi mümkün kılar. YZ çağında, MTK, Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction ve Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach’de LLM’lerle buluşur: YZ madde güçlüğünü tahmin eder ve kalibre eder, ölçüm isabetini potansiyel olarak iyileştirir ve Uyarlanabilir Öğrenme’i besler.

Dikkate Alınması Gereken Sorular

Madde tepki kuramı, ham test puanını ölçüt olarak ele almak yerine yetenek ve madde güçlüğünü yanıt örüntülerinden birlikte tahmin edilmiş olarak ele alır. Aynı sayıda doğru yapan iki öğrenci yetenekte fiilen nasıl farklı olabilir?
MTK, öğrenenleri ortak bir ölçekte karşılaştırmanıza ve kişi başına isabeti tahmin etmenize izin verir. Bir maddenin güçlüğünü ve ayırt ediciliğini bilmek, bir öğrencinin onu doğru yapıp yapmadığını bilmekten neden daha önemli olabilir?
Bir çalışma, çoktan seçmeli testlerde insan ile YZ tarafından üretilen yanıtları ayırt etmek için MTK kişi-uygunluk istatistiklerini kullandı — YZ yanıtlarını 'sapkın' olarak işaretleyerek. Öğrenmeyi değerlendiren aynı ölçüm makinesi akademik dürüstlüğü nasıl denetleyebilir?
Araştırmacılar, YZ tarafından üretilen sınav sorularının uzman tarafından yazılanlarla güçlük ve ayırt edicilikte eşleştiğini doğrulamak için MTK’yi kullanır. Bir YZ iyi 'görünen' bir madde yazarsa, uydurulmuş MTK parametrelerine karşı ampirik kalibrasyon neden hâlâ gereklidir?
YZ madde güçlüğünü tahmin edip kalibre ettikçe, bir modelin güçlük tahmini gerçek öğrenci yanıt verisine karşı doğrulanmazsa neyin yanlış gidebileceği vardır?
MTK, uyarlanabilir teste ve bilgi izlemeye bağlanır — sonraki ne sorulacağını seçmek için yanıtlarınızı kullanmak. Yeteneğinizi her yanıttan tahmin etmek, bir testin yalnızca daha uzun değil daha kısa ve daha isabetli olmasını nasıl mümkün kılar?

Giriş

MTK, yeteneği (θ) ve madde parametrelerini (güçlük, ayırt edicilik, bazen tahmin) ham puanı ölçüt olarak ele almak yerine yanıt örüntülerinden birlikte tahmin edilmiş olarak ele alır. Bu, öğrenenleri ortak bir ölçekte karşılaştırmayı, maddeleri uyarlanabilir biçimde seçmeyi ve isabeti küresel olarak değil kişi başına tahmin etmeyi mümkün kılar.

MTK araştırmada nasıl karşımıza çıkıyor

YZ tahminli güçlük: LLM madde-güçlüğü tahmini, madde güçlüğünü tahmin etmek için dil modellerini kullanır; bu, ampirik olarak uydurulmuş MTK parametrelerine karşı doğrulanmalıdır.
Psikometrik kalibrasyon: LLM psikometrik kalibrasyonu, model tabanlı değerlendirmeyi MTK tabanlı ölçümle hizalar; böylece YZ tarafından üretilen yanıtlar ölçüm özelliklerini korur.
Bilgi izleme ve öğrenci modelleme: MTK, Bilgi İzleme ve Öğrenen Modellemesi ve Uyarlanabilir Öğretim ile yakından ilişkilidir — zaman içinde öğrenen bilgisini izleyen modeller — gözlemlenebilir yanıtlardan gözlemlenemez öğrenen durumlarını tahmin etme hedefini paylaşır.
LLM logitlerinden okunan MTK büyüklükleri. Huang ve ark. (2026), öğrenci yeteneği θ = z^GOOD − z^BAD ve özel öğretmen turu güçlüğü d = z^HARD − z^EASY değerlerini sonraki-token logitlerinden çıkarır ve bunları 1PL Rasch öngörücüsünde birleştirerek diyalog tabanlı bilgi izlemeyi yorumlanabilir kılar (QATD2k üzerinde %64,29 doğruluk, 65,25 AUC).
Bayesçi hiyerarşik saha doğrulaması: YZ Tarafından Üretilen Sınavları Değerlendirmek, (1.686 öğrenciyi ortak bir θ ölçeğine yerleştirmek için ön-test çapa maddeleriyle) Bayesçi hiyerarşik bir 2PL MTK modeli kullanarak, YZ tarafından üretilen soruların uzman tarafından yazılmış standart sınav maddeleriyle güçlük ve ayırt edicilikte eşleştiğini gösterir — Otomatik Soru Üretimi için MTK’nin doğrulama omurgası olarak geniş ölçekli bir gösterimi.
Test bilgisi isabeti yerelleştirir. 2PL modeliyle doğrulanmış 20 maddelik bir GenAI okuryazarlığı testinin (RMSEA = 0,03, CFI = 0,97) bilgi işlevi θ = −0,8’de zirve yapar; böylece ölçek boyunca tek düze olmaktan çok düşük-ilâ orta okuryazarlıklı öğrenenler için en isabetlidir (Jin ve ark. (2025)).
İnsan yanıtlarını GenAI yanıtlarından kişi-uygunluk istatistikleriyle ayırmak: Strugatski ve Alexandron (2026), çoktan seçmeli değerlendirmelerde insan ile Üretici YZ yanıtlarını ayırt etmek için MTK içinde kişi-uygunluk istatistiklerini (PFS) uygular. PFS, GenAI yanıtlarını iki özgün bağlamda (bir kimya testi ve bir ulusal sınav) 'sapkın' yanıtlayanlar olarak işaretler, farklı sohbet robotuların farklı yanıt örüntüleri ürettiğini ('zekâ’ların heterojen bir grubu) gösterir ve yeni GenAI sürümlerinin daha insansı hale geldiğini ortaya çıkarır — yüksek riskli testlerde MTK’yi dürüstlük taraması için sağlam bir çerçeve olarak konumlandırır.
Aynı maddeler bir LLM için aynı gizil yapıyı ölçmeyebilir. Strugatski, Zeinfeld ve Alexandron (2026), insan ve LLM faktör yapılarını iki enstrüman boyunca keşfedici faktör analizi ve uygunluk eşleştirmeyle karşılaştırdı; LLM–insan benzerliği güvenilir biçimde insan–insan temelinin altında kaldı; böylece insanlar üzerinde uydurulmuş MTK parametreleri otomatik olarak aktarılmaz.
Rasch MTK parametrelerine karşı LLM güçlük tahmini: Razavi ve Powers (2026), GPT-4o’nun Rasch MTK modeli altında kalibre edilmiş K-5 matematik ve okuma değerlendirme maddelerinin (N = 5170) güçlüğünü tahmin edip edemediğini değerlendirir. Sıfır-atış doğrudan tahmin yaklaşımı, gerçek Rasch güçlükleriyle orta-kuvvetli ilişkilendi (r = 0,83 matematik, r = 0,81 okuma) ancak sınıflar boyunca düzensizdi ve K ile 1. sınıflar için sıklıkla sınıf-ortalamalı kukla regresörden daha iyi değildi, muhtemelen alt sınıf madde güçlüklerindeki aralık kısıtlamasından kaynaklı. Özellik tabanlı bir strateji — ağaç tabanlı modellere beslenen LLM-çıkarımlı bilişsel ve dilbilimsel özellikler — doğrudan tahmiği geride bıraktı (r = 0,87’ye kadar korelasyonlar), en iyi öngörücüler sınıf düzeyi ve sözcük sayısı olarak. Çalışma, LLM güçlük tahminlerinin ampirik olarak uydurulmuş MTK parametrelerine karşı doğrulanması gerektiğini ve bütüncü sıfır-atış yargısının yetersiz kaldığı yerde yapılandırılmış özellik çıkarımının tahmini keskinleştirebileceğinin altını çizer.
Tahmin etmek yerine güçlüğü açıklamak. Cui ve ark. (2026), GSM8K (1.319 soru), BBH-structured (1.396) ve WinoGrande (1.267) için LLM yanıt kayıtlarına 1PL Rasch modeli uydurdu; GSM8K ve WinoGrande için 5.000 model, BBH-structured için 3.811. Ardından bir LLM’den bir maddenin diğerinden neden daha zor olduğuna dair doğal dil hipotezleri önermesini istediler ve bunları ayırılmış sorularda L1-düzenlileştirilmiş regresyonla seçtiler. Görülmemiş sorularda tek başına kullanıldığında seçilen hipotezler GSM8K’da R² = 0,373, BBH-structured’da 0,580 ve WinoGrande’da 0,090’a ulaştı; karşılaştırılan yöntemlerin en iyisi GSM8K ve WinoGrande’da, ince ayarlı bir RoBERTa-base’in 0,646’ya ulaştığı BBH-structured’da ise ikinci en iyi. Ek özellik olarak GSM8K’da RoBERTa-base’e +0,11 (0,362’den 0,468’e) ve iki donmuş gömme modeline +0,19 ve +0,18 eklerler. Nedensel bir sonda, veri kümesi başına 50 test sorusunu bir hipoteze doğru veya hipotezden uzağa düzenler: güçlük-artışı düzenlemeleri GSM8K ve BBH-structured’da ortalama doğruluğu 15,27 ve 23,88 yüzde puanı düşürür, güçlük-azalışı düzenlemeleri ise onu 32,18 ve 28,52 yükseltir. Burada güçlük model yanıtlarından tahmin edilir, insan sınav girenlerinden değil; böylece bu bir LLM-değerlendirme ve psikometri sonucudur.
Yanıtlayıcıları simüle etmek, uyarana regresyonun kurtaramadığını kurtarabilir: yetenek düzeyleri boyunca öğrencilerin seçenek seçim olasılıklarını yeniden üreten ince ayarlı çok kipelli bir LLM, ayırılmış güçlüğü r = 0,85’te yaklaşık olarak tahmin etti; MathBERT (0,68) ve MetaMath (0,75) regresyon temellerinin üzerinde, tahmin parametresi c’yi 0,48’de kurtardı, oysa ayırt edicilik a zayıf kaldı (0,31) (Ormerod & Kim, 2026).
MTK parametreleri için konuşlandırma öncesi bir elek olarak madde yazım kusurları: Schmucker ve Moore (2026), Madde Yazım Kusuru (IWF) rubriklerinin — öğrenci verisi gerektirmeyen, alan-genel, metinsel bir değerlendirme — ampirik olarak tahmin edilen MTK güçlüğünü ve ayırt ediciliğini öngörüp öngörmediğini test eder. STEM’de (fizik bilimleri, matematik, yaşam/dünya bilimleri) 7.126 çoktan seçmeli soruda otomatik, LLM-destekli kodlama kullanarak IWF rubriklerinin ampirik MTK parametreleri için öngörücü geçerlilik taşıdığını gösterdiler; kaynak-yoğun pilot testini tamamlayan veya kısmen onun yerine geçen ölçeklenebilir bir konuşlandırma öncesi elek sunarak.
Seçici YZ notlandırma için MTK tabanlı risk süzme: Cvengros & Kortemeyer, YZ ile notlandırılmış elle yazılmış kimya verisine iki parametreli lojistik bir MTK modeli uydurdu ve bir YZ yargısını kabul etmenin "riskini" YZ’nin normalleştirilmiş puanı ile kredinin MTK-beklenen olasılığı arasındaki mutlak sapma olarak tanımlar (Risk = |s−p|); yalnızca bu Bayesçi beklentinin seçilen bir toleransı içindeki maddeleri kabul etmek, "şaşırtıcı" YZ puanlarını insan incelemesine işaretler, MTK’yi saf bir puan toplama aracından Otomatik Değerlendirme için operasyonel bir kabul/erteleme mekanizmasına dönüştürür — insan notlandırmayla daha basit kısmi kredi eşiklerine benzer bir hizalamayı, ancak daha düşük insan iş yüküyle başaran biri; her ne kadar mantığı teknik olmayan kitleler için daha az şeffaf olsa da.
Teşhis modeli içinde bir kalibrasyon katmanı olarak MTK: PLCD, egzersiz düzeyi yanıtlar üzerine MTK esinli bir tahmin-ve-kayma başı ekler; doğruluğu değil olasılık kalitesini iyileştirir — XES3G5M üzerinde beklenen kalibrasyon hatası 0,071’den 0,037’ye düşer — MTK’yi yalnızca bir puanlama modeli değil, yanıt gürültüsü için iç bir düzeltme yapar (Liu ve ark. (2026)).
Sürekli evrilen havuzlar için böl-ve-fethet kalibrasyonu: Jewsbury ve ark. (2026), MTK yeniden kalibrasyonunu bir uyum problemi olarak değil, bir ölçekleme problemi olarak ele alır. YZ tabanlı madde üretimi ve özellik tabanlı parametre tahmini bir havuzu daha büyük, daha seyrek ve sürekli güncellenir hale getirdiğinde, tam yanıt geçmişini her güncellemede yeniden uydurmak giderek artan biçimde pahalılaşır; onların mutabakat kalibrasyonu bunun yerine her dönemi bir kez kalibre eder ve yeni bir dönemi hâlihazırda hesaplanmış önceki sonrası dağılımlarla birleştirir. İki özellik onu mevcut MTK böl-ve-fethet çalışmalarından ayırır: dönemler gizil bir metrik paylaşmaz, böylece her biri gürçül bir Haebara ölçütüyle bir başvuru metriğine bağlanır her sonrası dağılım çekimi için ayrı olarak çözülür (bağlama hatasını bağlanmış sonrası dağılımlara taşıyarak), ve her dönem tahmini bir öncül katkıda bulunan kendi hiyerarşik uyumudur, böylece sonrası dağılımların naif çarpımının bu öncülü bölmesi ve bir mutabakat öncülünü geri getirmesi gerekir — öncüller sabitlendiğinde Bayesçi komite makinesi kuralına indirger. Duolingo English Test’in dört üç aylık dönemi üzerinde havuzlanmış bir kıyaslamaya karşı, sonrası ortalamalar r = .998 (güçlük) ve .991 (log-ayırt edicilik) ile anlaştı, sonrası SD’leri r = .970 ve .920 ile kaldı; en düşük dönem başına maruziyet üçlüsünde en büyük olan hafif az-dağılım bıraktı (SD oranı 0,91–0,98). Bu, YZ tarafından üretilen madde havuzlarının yarattığı sunum koşulları için yeniden mühendisliklemiş MTK kalibrasyonudur.
MTK’nin enstrüman doğrulamasını ne kadar nadiren çapaladığı: öğretmen YZ okuryazarlığı enstrümanlarının bir değerlendirmesi, MTK’nin kullanımını değil yokluğunu nicelemektedir. Zainal, Mohd Matore ve Maat (2026), 33 enstrümanı COSMIN ve Terwee ve ark.’dan (2007) uyarlanmış bir karar matrisine karşı notladı; yapısal geçerlilik güçlüydü, 24’ü (%72,7) CFA, PLS-SEM veya MTK modellemesiyle A derecesindeydi, ancak hiçbiri MTK veya Rasch’ı birincil kanıt olarak kullanmadı ve yalnızca beş enstrüman (%15,2) ölçüm değişmezliği veya madde işlevi farklılığı kanıtı bildirdi. Yazarlar, doğrulanmış yeteneği bildirilen özgüvenden ayırmak için MTK ve performans görevlerini öz-değerlendirmenin yanında savunur.
İlişkisel MTK’ye nedensel bir alternatif. Mangili ve ark. (2026), MTK’nin ve Bayesçi ağ öğrenen modellerinin müdahaleleri veya karşı-olgu durumlarını ifade edemediğini savunur ve bunun yerine uzmanlardan yapısal denklemler elde eder; 109 öğrencili uyarlanabilir bir test pilinde elde edilen model biraz daha az öngörücüydü (−287’ye karşılık −277 test log-olabilirlikği) ancak yardım hakkında karşı-olgu sorgularını destekledi.

Bağlantılar

MTK, Eğitimde Ölçme ve Değerlendirme Geçerliliği’nin temelidir; Uyarlanabilir Öğrenme’i (uyarlanabilir madde seçimi) ve Öğrenen Modellemesi ve Uyarlanabilir Öğretim’i destekler ve Psikometrik Bilinçli YZ’ye (ölçüm kuramıyla hizalı YZ değerlendirmesi) ve Bilgi İzleme’ye bağlanır. Programlama değerlendirmesi için LLM güçlük kalibrasyonunda yer alır.

Bağlı kavramlar

Bağlı makaleler

What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language — Explaining LLM question difficulty in natural language through IRT and causal edits (Cui et al. 2026)
The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory — Impact of item-writing flaws on IRT difficulty and discrimination (Schmucker & Moore 2026)
Causal Modelling of Support Interventions for Student Competency Assessment — Causal Modeling of Support Interventions for Student Competency Assessment
Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Do assessment instruments measure the same thing for humans and LLMs? (Strugatski et al. 2026)
Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Large-scale IRT field validation of AI-generated exams
GLAT: The Generative AI Literacy Assessment Test — GLAT uses IRT/2PL validation (Jin et al. 2025)
Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — LLM prediction of item difficulty
Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — Aligning LLM assessment with psychometric calibration
From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — LLM difficulty calibration in programming exams
Multimodal Item Parameter Estimation using Simulated Response Probabilities — Multimodal item-parameter estimation
Interpretable Knowledge Tracing — Interpretable knowledge tracing
Applying psychometric methods to distinguish between human and generative AI responses to multiple-choice assessments — Using IRT to separate human and GenAI MCQ responses
Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Estimating item difficulty using LLMs and tree-based ML
Assisting the grading of a handwritten general chemistry exam with artificial intelligence
Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis — Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis
Bayesian Consensus Calibration of Continuously Evolving IRT Item Banks — Bayesian consensus calibration of a continuously evolving IRT item bank (Jewsbury et al. 2026)
Assessing teachers' AI literacy: a systematic review of measurement tools — Field audit showing IRT/Rasch rarely used as primary validation evidence in teacher AI literacy instruments
StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI and human tutoring yield equivalent GRE learning gains

Üst veri

Teknolojiler ve teknikler	Bilgi İzleme, Öğrenen Modellemesi ve Uyarlanabilir Öğretim
Değerlendirme ve ölçme	Değerlendirme Geçerliliği, Eğitimde Ölçme, Psikometrik Bilinçli YZ

Source History Edit Chat