Psikometrik Bilinçli YZ

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Psikometrik bilinçli YZ — ölçüm kuramıyla uyumlu YZ değerlendirme sistemleri — Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach, Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction, Confidence Aware AI Assessment ve Madde Tepki Kuramı çalışmalarında ortaya konan gelişmiş yaklaşımıdır: kalibre edilmiş, belirsizliğin farkında olan YZ değerlendirme, ham model güvenini psikometrik kanıtın yerine koymak yerine güvenilirliği ve geçerliliği korur.

Dikkate Alınması Gereken Sorular

Bir YZ bir öğrencinin cevabını puanlar ve kendinden emin görünen bir puan bildirir. Bu sayıya hangi gerekçeyle güvenirsiniz — ve modelin herhangi bir ölçüm standardına göre kalibre edilmediğini öğrendiğinizde cevabınız değişir mi?
Sayfa, ham model güvenini psikometrik kanıtın yerine koymaya karşı uyarıyor. Bir zamanlar inandığınız ve sonradan yanlış çıkan kendinden emin bir YZ çıktısını düşünün. Onun güvenini kazanılmamış yapan neydi ve bunun yerine "belirsizliğin farkında" bir çıktı nasıl görünürdü?
Araştırma, aynı değerlendirme aracında insanlarla YZ (LLM) yanıt yapılarının ayrıştığını — yani modelin iyi puan almasına rağmen sınavın amaçladığından farklı bir şeyi ölçebileceğini — ortaya koydu. Bir YZ puanlayıcısı kullanan öğretmen olsanız, testin makine için sizin öğrencilerinizden farklı bir şey "ifade ettiğini" nasıl fark ederdiniz?
Madde güçlüğü tahmini, bir sorunun ne kadar zor olduğunu ölçmek için YZ (LLM) kullanır. Okumadan önce şunu düşünün: "bu soru ne kadar zor?" sorunun kendisiyle ilgili bir gerçek mi, yoksa onu yanıtlayan kişilerle (ya da modellerle) mi ilgilidir — ve bu belirsizlik sınavları kalibre etmek için YZ kullanımı için ne anlama gelir?
Kalibrasyon, güvenilirlik ve geçerlilik, kesin anlamlara sahip ölçüm kavramlarıdır. Bunların hangilerini kendi değerlendirme uygulamanızda gerçekten düşündünüz ve hangi noktalarda hiç kontrol edilmemiş bir YZ çıktısına güveniyor olabilirsiniz?
Bir Yöneticiler ya da geliştirici için: değerlendirdiğiniz bir YZ değerlendirme aracı yalnızca ham doğruluğu bildiriyorsa, gerçek öğrencilerle kurmadan önce sağlayıcısına şimdi hangi özel soruları sorardınız?

Giriş

YZ sistemleri giderek daha fazla yanıt puanladıkça, güçlüğü tahmin ettikçe ve Geri Bildirim sundukça, temel bir risk, ölçüm ilkelerine göre doğrulanmamış, kendinden emin görünen çıktılar bildirmeleridir. Psikometrik bilinçli YZ bu durumu, YZ Değerlendirme çalışmalarını köklü psikometriye dayandırarak ele alır — çıktıları kalibre eder, belirsizliği nicelleştirir ve ham doğruluğa ya da kendi bildirilen güvene güvenmek yerine Değerlendirme Geçerliliği ve Eğitimde Ölçme standartlarını korur.

Psikometrik bilinçli YZ araştırmada nasıl görünür

Kalibrasyon ve güven: Confidence-aware assessment ve LLM psychometric calibration çalışmaları, YZ’nin aşırı güvenli nokta tahminleri yerine anlamlı, belirsizliğin farkında puanlar bildirmesini sağlar.
Model güveni tek başına yeterli değildir. SciEntsBank üzerinde, sözel olarak ifade edilen, gizli (latent) ve tutarlılığa dayalı güvenin her biri doğru ile yanlış kısa cevapları ayırt edemedi; en iyi kalibrasyon, gömülü yanıtların küme içi entropisi olan veri kaynaklı aleatorik belirsizliğin — bir Random Forest artı Platt ölçeklemesi yoluyla — eklenmesiyle geldi ve bu, seçici otomatik puanlama ile insan incelemesini mümkün kıldı (Cong ve ark. (2026)).
Güven etiketleri önceliklendirmeyi işaret eder, kabulü değil. Yüksek riskli el yazısı fizik puanlamasında, YZ güven etiketleri yüksek güvenli bölümlerde çok daha düşük puan hatası izledi; yine de bazı yüksek güvenli, etiketsiz bölümler resmi işaretlerden farklı çıktı, dolayısıyla bu etiketler otomatik kabulü yetkilendirmekten ziyade sınav görevlisinin incelemesine öncelik vermek için yararlıdır (Pathak ve ark. (2026)).
Güçlük tahmini: Item-difficulty prediction, YZ (LLM) tabanlı tahminlerin psikometrik modellere karşı doğrulanması gerektiğini gösterir (bkz. Madde Tepki Kuramı). Razavi ve Powers (2026) bunun büyük ölçekli bir örneğini sunar: Rasch IRT modeli altında kalibre edilmiş 5.170 K-5 matematik ve okuma maddesi üzerinde, GPT-4o’nun sıfır atış (zero-shot) güçlük derecelendirmeleri gerçek güçlüklerle orta düzeyden güçlü düzeye korelasyon gösterdi (matematikte r = 0,83, okumada r = 0,81) ama sınıf seviyeleri arasında eşit değildi; özellik tabanlı bir yaklaşım (YZ ile çıkarılan özelliklerin ağaç tabanlı modellere aktarılması) ise r = 0,87'ye varan korelasyonlara ulaştı. Çalışmanın yorumlanabilir özellik önemi bulgusu (en güçlü yordayıcılar sınıf seviyesi ve kelime sayısı) ve pratik yedi adımlı iş akışı, psikometrik bilinçli YZ’nin nasıl işletilebilir hale getirilebileceğini gösterir — öte yandan alt sınıf aralığı kısıtlılığı ve genellenebilirlikle ilgili çekinceleri, YZ tahminlerinin uydurulmuş psikometrik parametrelere karşı doğrulanma gereğini vurgular.
Bir eğrinin kurtarılması her parametrenin kurtarılması anlamına gelmez. simülasyonlu bir yanıtlayıcı olarak ince ayarlanmış çok kipli bir model, dışarıda tutulan madde güçlüğünü r = 0,85 ile tahmin etti ve tahmin (guessing) parametresini 0,48 olarak kurtardı, ancak ayırt edicilik (discrimination) zayıftı: 0,31 — dolayısıyla bir yöntemin hangi parametreyi kurtardığı, bulgunun kendisidir (Ormerod & Kim, 2026).
Ölçüm geçerliliği: Kavram, Değerlendirme Geçerliliği ve Eğitimde Ölçme ile, geçerli ve güvenilir YZ değerlendirmesinin ne olduğunu tanımlayan çerçevelerle bağlantılıdır.
Gizli yapı (latent-structure) geçerliliği: Strugatski ve ark. (2026), psikometrik bilinçli bir duruşun ayrıca bir değerlendirmenin YZ’de insanlardakiyle aynı gizli yapıyı ölçtüğünü doğrulaması gerektiğini gösterir. YZ ile insan yanıtlarının faktör yapıları aynı araçlarda ayrıştığı için, iyi puan alan modeller bile sınavın öne sürdüğü yapıyı ölçmüyor olabilir — bu, insanlardan alınan geçerlilik kanıtını ödünç alan her YZ değerlendirmesi için bir çekincedir.
Bir etiket, adlandırdığından fazlasını ya da azını ölçebilir. 12 YZ okuryazarlığı aracının 55 yapısını ve 272 maddesini gömmek (embedding), jangle çiftlerini (aynı etiket, farklı ölçüm) ve jingle çiftlerini (farklı etiketler, neredeyse özdeş ifadeler) ortaya çıkardı ve yapı ayrımlarının madde ifadelerine taşındığını gösteren r = 0,49'luk bir güvenilirlik kurtarmasıyla veri toplamadan önce bir kontrol sağladı (He ve ark. (2026)).
Gizli yetenek hatları ve standart belirleme: Curi ve ark. (2026), ulusal bir sınavda psikometrik bilinçli puanlamanın somut bir şablonunu sunar: rubrik madde puanları asla doğrudan toplanmaz, bunun yerine gizli yetenek tahminleri Bookmark standart belirleme yöntemiyle Proficient / Close to Proficiency / Insufficient kademelerine bölünen bir IRT modeline beslenir; geçmek için en az iki Proficient bölüm ve kalan bölümün en az Close to Proficiency olması gerekir. Yazarlar bu hattı otomatik biçimde yeniden ürettiler (alt kesim için en az 7 rubrik maddesini, üst kesim için en az 10'unu doğru yanıtlama olasılığı olarak %67), böylece YZ ile insan madde puanlarının ham uyuşmaya göre değil, özdeş karar kriterlerine karşı karşılaştırılmasına izin verdi.

Bağlantılar

Psikometrik bilinçli YZ, Eğitimde Ölçme, Değerlendirme Geçerliliği, Madde Tepki Kuramı ve Confidence Aware AI Assessment kesişiminde yer alır. AIEd Değerlendirmesi için (YZ değerlendirmesinin güvenilir olup olmadığı) merkezi öneme sahiptir ve Büyük Dil Modelleri (LLM) tabanlı Otomatik Değerlendirme ile Automated Grading çalışmalarına bağlanır. Geçerlilik vurgusu aynı zamanda AIED araştırmalarının ölçüm sınırlılıkları sorusunu da ele alır.

Bağlı kavramlar

Bağlı makaleler

A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment
Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Do assessment instruments measure the same thing for humans and LLMs? (Strugatski ve ark. 2026)
Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — Aligning LLM assessment with psychometric calibration
Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — LLM prediction of item difficulty
Confidence Estimation in Automatic Short Answer Grading with LLMs — Confidence-aware automatic short-answer grading
Multimodal Item Parameter Estimation using Simulated Response Probabilities — Multimodal item-parameter estimation
Knowledge, Skills, Attitudes, Production: Competency-Based Education After Generative AI — Competency-based education with GenAI
Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — AI grading of handwritten physics assessments (Olympiad)
Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Estimating item difficulty using LLMs and tree-based ML
Clarifying the Conceptual Landscape in AI Literacy Measurement: A Large Language Model Based Approach — Comparing AI literacy instruments: jangle and jingle pairs across 55 constructs
Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses

Üst veri

Teknolojiler ve teknikler	Büyük Dil Modelleri (LLM)
Değerlendirme ve ölçme	Değerlendirme Geçerliliği, Otomatik Değerlendirme, Eğitimde Ölçme, Madde Tepki Kuramı

Source History Edit Chat