AIEd Bilgi TabanıAIEd KB
Bu sayfada

Bu sayfayı İngilizce okuyun

Kavramlar

Eğitimde Ölçme

Oluşturuldu 2026-10-14

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Eğitimde ölçme — öğrenmeyi ve onun yapılarını (construct) nicelendirmeye ve doğrulamaya yönelik psikometri kuramı ve yöntemleri — bilgi tabanının Madde Tepki Kuramı, Bilgi İzleme ve Değerlendirme Geçerliliği sayfaları boyunca geçer. Büyük Dil Modelleri (LLM) çağı, klasik psikometriyi YZ kaynaklı yeni yanıt akımlarıyla — otomatik puanlama, YZ ile öngörülen zorluk ve Çok Kipli YZ izler — uzlaştırmayı öngürmektedir; güvenilirlik ve geçerliliği korumak için bunlar yerleşik ölçme ilkelerine karşı doğrulanmalıdır.

Üzerinde Düşünülebilecek Sorular

  • Bir LLM, bir sınav maddesinin kolay olduğunu öngörüyor, ancak ampirik sınav verisi öğrencilerin onu zor bulduğunu söylüyor. Hangisine Güven duyarsınız ve makinenin tahminine güvenmeniz için sizi ne ikna ederdi?
  • Eğitimde ölçme, öğrenmeye ilişkin gözlemleri savunulabilir nicel iddialara dönüştürmektir. Bir YZ bir deneme yazısını puanladığında veya bir yanıta puan verdiğinde, bir “puan” kendiliğinden bir ölçüm müdür — yoksa önce bir şey doğrulanmalı mıdır? Nedir o?
  • Bazı araştırmalar, değerlendirme araçlarının insanlar için olduğu şeyi LLM’ler için ölçmeyebileceğini — gizil yapının (latent structure) ayrıştığını — önermektedir. Yapılar gerçekten de insanlar ile YZ arasında farklıysa, bu durum YZ üretimi notlara veya zorluk derecelendirmelerine ilişkin ne ima eder?
  • YZ benzeri görülmemiş bir ölçekte puanlama, madde üretme ve zorluk öngörme yapabilir. “Daha fazla ölçüm”, “daha iyi ölçüm”le aynı şey midir? Bir puanı güvenilir ve geçerli kılan nedir ve bu standartlar ölçüm üretici bir model tarafından yapıldığında korunabilir mi?
  • Kıyaslamalar ve YZ üretimi puanlar artık her yerdedir. Bir YZ temelli değerlendirmeyi, yalnızca bir sayı değil de bir öğrenenin fiili anlayışına dair kanıt olarak görmeniz için neyi görmeniz gerekirdi?

Giriş

Eğitimde ölçme, öğrenmeye ilişkin gözlemleri — yanıtları, davranışları, puanları — savunulabilir nicel iddialara dönüştürme disiplinidir. Yapı (construct) tanımı, madde/test tasarımı, ölçekleme, güvenilirlik ve geçerliliği kapsar. Eğitimde YZ bağlamında ölçme soruları her yerdedir: bir kıyaslama puanı düşündüğümüz şeyi mi ölçüyor? YZ üretimi bir not güvenilir ve geçerli mi? YZ ile öngörülen madde zorlukları, ampirik olarak tahmin edilenlerle uyuşuyor mu?

Ölçmenin araştırmalarda nasıl göründüğü

  • YZ’nin alanı on yıl boyunca yeniden şekillendirmesi: Xiong ve Li (2026), YZ’nin etkisini üç çağ boyunca (Biçimlendirici 2015–2018, Genişleme 2019–2022, Üretici 2023–günümüz) bir Verimlilik–Güçlendirme–Dönüşüm çerçevesi aracılığıyla haritalamaktadır; kapsam puanlamada ve madde üretiminde YZ, psikometrik modelleme, değerlendirme yeniliği ve süreç verisi ile adalet/etik/eşitliği içerir. Yazarlar, ölçme kuramını YZ yöntemleriyle bütünleştiren yeni bir paradigmanın ve insan–YZ etkileşimi bağlamında yapıları yeniden kavramsallaştırmanın savunuculuğunu yapar — gizil yapı karşılaştırmasının ampirik olarak soruşturduğu aynı sınır.

  • YZ ile öngörülen zorluk ve kalibrasyon: LLM zorluk kalibrasyonu ve madde zorluk öngörüsü, madde zorluğunu tahmin etmek için LLM’leri kullanır; bunlar psikometrik tahminlere karşı doğrulanmalıdır (bkz. Madde Tepki Kuramı). Razavi ve Powers (2026), bu öncülü K-5 düzeyinde geniş ölçekli bir test eklemektedir: Rasch IRT modeliyle kalibre edilmiş 5.170 matematik ve okuma maddesi genelinde, GPT-4o’nun sıfır-örnek zorluk derecelendirmeleri gerçek zorluklarla orta düzeyden güçlü düzeye korelasyon göstermiştir (matematikte r = 0,83, okumada r = 0,81), ancak sınıf düzeylerine göre düzensizdir ve K ile 1. sınıflarda sınıf ortalaması kukla değişkeninden daha iyi değildir. Özellik temelli bir yaklaşım — ağaç tabanlı modellere beslenen LLM kaynaklı bilişsel ve dilsel özellikler — r = 0,87’ye varan korelasyonlara ulaşmış; sınıf düzeyi ve kelime sayısı en üst sıradaki öngörücüler olmuştur. Çalışma, ölçme girdisi olarak YZ ile öngörülen zorluğun hem vaadini hem sınırlarını göstermekte ve test uzmanlarına pratik yedi adımlı bir iş akışı sunmaktadır.

  • Üretilmiş zorluk etiketleri zorluğu ölçmediğinde. Konuşlandırılmış 311 LLM üretimi sorunun bir yapı geçerlilik denetiminde, üretilmiş zorluk etiketinin kendi ile birlikte üretilmiş Bloom düzeyiyle ρ=0,90, ampirik zorlukla (Klasik Test Kuramı 1−p indeksi) ise yalnızca ρ=0,06 korelasyon gösterdiği; seçenek uzunluğu ise ters yönde işlediği (ρ=−0,18) bulunmuştur — yukarıdaki iyimser okumaları sınırlayan bir “etiket = yüzey biçimi” sonucu (An ve Wang (2026)).

  • Taksonomik bir etiket, madde davranışını öngörmez. 265 matematik maddesi üzerinde, hedeflenen Bloom düzeyi zorluktaki varyansın %5’inden azını açıklamış (ε² = .043) ve ayırt edicilikten hiçbirini açıklamamıştır (Kruskal–Wallis H = 0,54, p = .77); oysa bir LLM sınıflandırması uzman kodlayıcılarla yalnızca orta düzeyde uyum göstermiş (Cohen’s κ = .22) ve maddeleri uygulama/analiz bandına doğru çekmiştir (Altaweel ve Moussa (2026)).

  • Üretilen maddeleri ifadeye değil, çözüm yoluna göre yargılayın. Her maddenin doğrulanmış akıl yürütme ağacını kodlamak, performansı konsept değerlendirmesinde %7,5, zorluk tahmininde %6,3 ve yeterlilik değerlendirmesinde %19,5 yükseltmiş; buralarda sıfır-örnek temel çizgi, şablonu izleyen bir maddeyi “Akıl Yürütme”, geometri temelli bir maddeyi ise “Bilme” olarak yanlış etiketlemiştir (Tong ve ark. (2026)).

  • Değerlendirme alanında psikometrik farkındalık: psikometrik olarak farkında YZ, YZ temelli değerlendirmenin ölçme kuramıyla uyumlu olması standardıdır — kalibre, belirsizlik farkında ve geçerliliği koruyan (bkz. Güven Farkında YZ Değerlendirmesi).

  • Ustalık etiketleri gözlenen değil, inşa edilen yapılardır. Teşhis için zemin gerçekliğinin gerektiği yerlerde, Jia ve Dong (2026)], bunu davranış izlerini doğrudan dönüştürmek yerine bir geçerlilik denetim süreciyle inşa etmiştir — müfredat konsept grafikleri, öğretmenler tarafından gözden geçirilmiş bilgi noktası eşlemeleri ve yakınsak değerlendirme kanıtı — ve teşhisleri, IRT’ye karşı Cohen kappa 0,78 ile eğitim psikologlarıyla eşleşmiştir (IRT için 0,65).

  • Otomatik puanlama ve geçerlilik: YZ puanlama ve dil önyargısı ile çok kipli madde parametre tahmini, otomatik puanlamanın ve çok kipli verinin ölçme kalitesini nasıl etkilediğini incelemektedir.

  • Geçerlilik çerçeveleri: Değerlendirme Geçerliliği ve Eğitimde NLP, LLM temelli ölçmeyi doğrulamak için standartları ve araçları sağlar.

  • Gizil yapı karşılaştırması: Strugatski ve ark. (2026), değerlendirme araçlarının insanlar ve LLM’ler için aynı faktör yapısını gösterip göstermediğini sınayarak eğitimde ölçmeyi LLM ortamına genişletir. EFA, faktör uyumu ve yeniden örnekleme kullanarak, LLM–insan gizil yapılarının kimya ve nicel akıl yürütme araçlarında sistematik biçimde ayrıştığını göstermektedir; bu, ölçülen yapıların popülasyonlar arasında farklı olduğunu ima eder — insan geçerlilik kanıtının YZ’ye aktarıldığının varsayılmasından önce gerekli bir kontroldür.

  • Ölçülebilir hataya sahip bir değerlendirici olarak YZ: Cvengros ve Kortemeyer, YZ tarafından verilen puanları genellenebilirlik kuramı ve Kane’nin argümana dayalı geçerliliği altında çoklu hata kaynağına (maddeler, çalıştırmalar, görevler) sahip yanıltılabilir gözlemler olarak ele alır. 296 öğrencinin el yazısı genel kimya sınavına ilişkin güvenilirlik çözümlemesi, beş YZ çalıştırması boyunca toplam puanlarda yüksek kararlılık göstermiştir (ICC(A,1) = 0,967, Kendall’in W değeri = 0,959, 60 puan üzerinden 5,33 olan %95 tekrarlanabilirlik katsayısı), madde düzeyinde kararlılık daha düşüktür (ICC(A,1) = 0,836) — sistemsiz hatalar toplandığında kısmen birbirini götürür (toplam puan uyumunu R² = 0,91’e çıkaran bir Spearman–Brown toplulaştırma etkisi); küçük bir pozitif kesişim noktası ile 1’den küçük eğim ise bir “çekingen puanlayıcı” puan sıkıştırma önyargısı ortaya koymuştur. Bu durum, çalıştırma ortalaması alma ve toplulaştırmayı ölçme tasarımı kararları olarak çerçeveler ve otomatik ölçüler güvenilmeden önce bir geçerlilik sigortası olarak IRT riskine kalibre edilmiş güven süzgeçlerini gerekçelendirir.

  • Model sürümü bir ölçme koşuludur. Hao (2026)], dört LLM genelinde model içi yanıt benzerliğinin (0,715–0,795) tutarlı biçimde modeller arası benzerliği (0,443–0,604) aştığını bulmuştur; böylece bir konuşlandırma için kurulan bir puanlama argümanı, kendiliğinden ardılına aktarılmaz.

  • Sınırlandırılmadıkça sıfır sonucu eşdeğerlik kanıtı değildir. StudentBench, havuzlanmış YZ özel dersinin uzman insan özel dersiyle eşleşip eşleşmediğini, bir fark sınaması yerine havuzlanmış standart sapmanın ±0,25’ine karşı iki taraflı sınamalarla test etmiş; düzeltilmiş farkın −0,58 yüzde puan (90% GA [−2,18, 1,03]) olduğunu rapor etmiştir — güçsüz bir sıfır sonucunu bir eşdeğerlik iddiasına dönüştüren tercih budur (Northcutt ve ark. (2026)).

  • Kalibrasyon, yeni verilerle ölçeklenir, tüm tarihle değil: Jewsbury ve ark. (2026)], YZ madde üretiminin işletimsel sonucuyla yüzleşir — geleneksel olanlardan daha büyük, daha seyrek ve daha sık güncellenen bankalar; burada her güncellemede birikmiş tüm yanıt verisini yeniden uydurmak maliyetlidir ve kullanılabilir belleği aşabilir. Yazarların uzlaşma kalibrasyonu, bağımsız olarak kalibre edilmiş çeyrek dönemleri, her dönemin ardıl çekimlerini (posterior draws) çekim başına sağlam bir Haebara bağlantısıyla ortak bir metriğe eşleyerek birleştirir (böylece bağlantı belirsizliği sabit bir dönüşüm olarak değil, yayılarak ele alınır), ardından her dönemin tahmini, hiyerarşik önselinin çıkarıldığı ve bir uzlaşma önselinin yeniden kurulduğu Gauss ardılları çarpımı olarak toplulaştırır. Dört dönem boyunca işletimsel Duolingo İngilizce Testi verisinde, topluluk havuzlanmış tek çalıştırma kıyaslamasına ardıl ortalamalarda eşleşmiştir (zorluk için r = ,998, log-ayırt edicilik için ,991) ve standart sapmalarda (r = ,970 ve ,920), maruziyet üçtebirlikleri boyunca uzlaşma/havuzlanmış SD oranında 0,91–0,98 arası bir artık alt dağılım farkıyla — en seyrek madde üçtebirinde yoğunlaşmış; burada önselin fazla sayılması en çok acıtır. Ölçme dersi iki katlıdır: tahmini bir önsel, paralel Bayes hesaplamasının standart alt önsel araçlarıyla ele alınamaz; ve ardıl dağılım farkı — uyarlanabilir seçim ve puanlamanın tükettiği belirsizlik — düzeltmenin ardıl ortalaması kadar hedefidir.

  • İki yayımlanmış sayıdan bir sistemin dağılım farkını belirlemek: Restrepo Morales ve ark. (2026)], bir başarı dağılımının standart sapmasının yalnızca yayımlanmış özet istatistiklerden — ortalama ile sabit bir yeterlilik kesim puanında veya üzerinde olan öğrenci oranından — kurtarılabileceğini göstermektedir; çünkü bir dağılım varsayımı altında σ = (c − μ) / z(1 − p). PISA 2025 El Salvador’a uygulandığında (matematik ortalaması 346, seviye 2 kesimi olan 420,07’de veya üzerinde %12,28), çıkarılan σ 63,8’dir (okuma 76,8, fen 63,8) — ölçeğin tabanına sıkıştırılmış bir dağılım için beklendiği gibi, 100 olan uluslararası kıyaslamanın belirgin biçimde altındadır; üç tahmin bağımsız ikili sayı çiftlerinden elde edilmiş ve birbiriyle yaklaşık 13 puan fark içindedir — hafif bir iç tutarlılık kontrolü. Seviye 2’deki oran her PISA sistemi için rapor edilmekte ve SDG 4.1.1 göstergesini beslemektedir; bu nedenle belirleme mikro veri gerektirmez ve aynı makale, standartlaştırılmış etki büyüklüklerinin kendi örneklem dağılım farkına bölündüğünde çalışmalar arasında meşru biçimde karşılaştırılamayacağı argümanı üzerine, bir matematik boşluğunu üç biçimde rapor ederek etki büyüklüklerindeki payda sorununu gösterir — 129 puan, 1,29 uluslararası standart sapma veya Salvadoran dağılımının kendi 2,02 standart sapması.

Bilgi tabanındaki ölçme araçları

Eğitimde ölçmenin merkezi bir işlevi, araçların — yapıları işlevsel kılan somut ölçeklerin, testlerin ve kodlama şemalarının — geliştirilmesi, doğrulanması ve kullanılmasıdır. Bilgi tabanının makaleleri, eğitimde YZ yapıları için geniş bir araç yelpazesini belgelemektedir; bunlar neyi ölçtüklerine ve ölçme yaklaşımlarına göre sınıflandırılabilir.

YZ / üretici YZ okuryazarlığı araçları

YZ okuryazarlığı, bilgi tabanında en zengin araç kapsamına sahip yapıdır. İki geniş aile vardır: performans temelli testler (nesnel, öz bildirim önyargısına daha az açık) ve öz bildirim ölçekleri (öznel, algılanan yeterliliği yakalar). Bu ikinci ailenin ödünleşimleri Öz Bildirim Ölçütleri sayfasının konusudur: öz bildirim tutumları ve algıları ucuz biçimde ulaşır, ancak yeterlilik veya davranış hakkında bir iddia taşıyamaz ve bilgi tabanı, paralel öz bildirim ile performans ölçümleri karşılaştırıldığında %40’lık bir fazla tahmin boşluğunu belgelemektedir.

Tutum, kabul ve motivasyon araçları

Değerlendirme kalitesi ve geçerlilik araçları

Ölçme yaklaşımı önemlidir

Bilgi tabanının kanıtı tekrar tekrar, bir yapının nasıl ölçüldüğünün sonuçları değiştirdiğini göstermektedir. Öz bildirimli YZ okuryazarlığı, performans temelli ölçümlerden keskin biçimde ayrışır (How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures); katılımın LLM belgelemesi, eğitimli insan kodlamasından ayrışır (Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents); ve gizil yapılar insanlar ile LLM’ler arasında farklıdır (Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis). Titiz araç doğrulaması — güvenilirlik, yapısal geçerlilik, dışsal/öngörücü geçerlilik — bu nedenle bir biçimsellik değil, güvenilir eğitimde YZ kanıtının temelidir ve Değerlendirme Geçerliliği ile Psikometrik Bilinçli YZ kavramlarına bağlanır. Yeni bir materyal düzeyinde çalışma, basit bir kabul iddiasının arkasında ne kadar doğrulama çalışmasının durduğunu göstermektedir: Wang, Chuang ve Wu (2026)], iki yaş kademeli YZ okuryazarlığı kılavuz kitabı için yarıya bölme tasarımı kullanmıştır (geliştirme örnekleminde EFA, ayrılmış yarıda CFA); KMO = ,820, açıklanan varyansın %67,3’ü, kabul edilebilir öğrenci uyumu (CFI = ,943, RMSEA = ,059, SRMR = ,059), ,84 ile ,90 arası bileşik güvenilirlik ve baskılar arası ölçüm değişmezliği rapor etmiş; ardından aracın zorlandığı yeri, ,950’ye varan HTMT değerleri ve birliği sınanması gereken kısıtlı bir oyunsuluk–niyet korelasyonu belgeleyerek göstermiştir. Farklı madde işlevine yönelik tamamlayıcı kontrolleri, bu sayfanın savunduğu dürüstlüğün modelidir: değişmezlik sürdü, ancak daha genç öğrenciler arasındaki düşük varyasyonlu yanıt kalıpları, bu katılımcılar çıkarıldığında bir grup farkının zayıfladığı anlamına geldi; ve makale bunu manşet sonucunun yerine, onun yanında rapor eder.

Oliveira ve ark. (2025), yeni bir süreç ölçümü için doğrulama dizisini göstermektedir: öğrencilerin üretici YZ etkileşim günlüklerini 35 alt kategorilik bir taksonomiye karşı puanlamak yalnızca orta düzeyde değerlendirici arası uyuma ulaşmıştır (Cohen’ın κ değeri = 0,44), ancak deneme puanlarıyla r = 0,54 korelasyon göstermiştir; bu, yeni ölçüme yakınsak destek sağlamıştır.

  • Uyum katsayıları derlemin özellikleridir ve puanlar ortak ürünlerdir. 60 pazarlama gönderisinin bir otomatik puanlama doğrulaması, bir LLM için ,435, kurallar-artı-LLM hibriti için ,266 ve deterministik kurallar için ,091 mutlak uyum ICC(2,1) değerleri rapor etmiştir; belirsizlik 2,000 yazar kümesi önyükleme örnekleminden tahmin edilmiş ve MAE 6,28–17,22 puan olmuştur; araştırmacı yazarlı çıpaların eklenmesi değerlendirici arası uyumu ,338’den ,902’ye yükseltmiş; bu, bu tahminlerin referans kümeye ne kadar güçlü biçimde bağlı olduğunu göstermektedir (Agreement and error in automated scoring of student marketing posts). Fizik kıyaslamalarının bir uzman yeniden puanlama denetimi, aynı noktayı araç düzeyinde tamamlar: denetlenen retlerin %95,20’si model hataları değil, kıyaslama veya puanlayıcı hatalarıdır; bu nedenle ölçülen bir puan, madde bankasının, derecelendirme ölçeğinin ve puanlayıcının ortak bir özelliği olarak rapor edilmelidir (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks).

Güvenilirliğin bir kısmı modelin kendisinden kurtarılabilir. Organisciak ve Acar (2026)], Alternatif Kullanımlar Testine verilen 20.000’den fazla yanıtta LLM temelli puanlamanın üç ucuz yükseltmesini değerlendirir: modelin kendi belirteç düzeyi güvenini okumak, tek bir en iyi tahmin yerine en üst n tahmini üzerinde olasılık ağırlıklı ortalama almak ve modeller arasında toplulaştırma yapmak. Her biri insan puanlarıyla uyumu artırmıştır (en iyi yapılandırmada korelasyon r = 0,781’den 0,823’e yükselmiş ve RMSE 0,599’dan 0,498’e düşmüştür) ve tanılamaları, tek geçişli puanlamanın belirli bir başarısızlığını belirler: modelin ifade ettiği güven, doğruluğuyla olumsuz ilişkilidir (β = −0,602). Bu bir model sonucu değil, bir ölçme yaklaşımı sonucudur — aynı model farklı puanlandığında daha güvenilir bir araçtır — ve yukarıdaki derlem düzeyinde uyum kanıtının yanında yer alır.

2026 yılında 33 öğretmen YZ okuryazarlığı aracının bir değerlendirmesi, araç geliştirmenin nerede olgun nerede olgunlaşmadığını göstermektedir. Zainal, Mohd Matore ve Maat (2026)], araçları COSMIN ve Terwee ve ark. (2007) çalışmasından uyarlanmış bir karar matrisine göre derecelendirmiştir; iç tutarlılığın en güçlü alan (33’ün 28’i, %84,8 A düzeyinde) ve adilliğin en zayıf alan olduğunu, ölçüm değişmezliği veya farklı madde işlevi kanıtı rapor eden yalnızca beş aracın (%15,2) bulunduğunu tespit etmiştir. Yapısal geçerlilik güçlüydü; 24 araç (%72,7) CFA, PLS-SEM veya IRT modellemesi yoluyla A düzeyindeydi, oysa içerik geçerliliği başta nitel incelemeye dayandı; nicel uzman uyum istatistiklerinin yokluğu nedeniyle 21 araç (%63,6) B düzeyindeydi.

Otomatik madde seçimi, bir aracı yeniden şekillendirmeden kısaltabilir: birleştirilmiş iki dalga örneklemi (N = 305, 342) üzerinde karınca kolonisi optimizasyonu, tam ölçekle her boyutta r = 0,910–0,944 korelasyon gösteren 12 maddelik bir kısa form üretmiştir; ancak boyut başına iki madde daha dar bir içerik yelpazesini kapsar (Wang, Zhang ve Zhang (2026)).

Sorunlar ve sınırlar: ölçmenin gözden kaçırabilecekleri ve yanlış yapabilecekleri

Eğitimde ölçme güçlüdür ancak yanıltılabilirdir. Onun başarısızlık kiplerini anlamak, eğitimde YZ kanıtını eleştirel biçimde okumanın önkoşuludur — ve görünürdeki bir öğrenme kazancının veya yapı iddiasının, gerçek bir etki yerine ölçmenin bir yapıtı olup olmadığını tanımanın.

  • Güvenilirlik sınırları. Ölçme hiçbir zaman kusursuz biçimde güvenilir değildir; hata varyansı her zaman mevcuttur. Araçların iç tutarlılığı veya test–tekrar kararlılığı düşük olduğunda, gözlenen farklılıklar gürültü olabilir. YZ bağlamlarında yeni başarısızlık kipleri bunu büyütür: LLM üretimi yanıtlar, insan puanlamasından ayrışırken yüksek makine uyumuyla puanlanabilir (Measuring Cognitive Engagement in Collaborative Discourse with an Extended ICAP Framework: Comparing Human Annotation, In-Context Learning, and Reflective LLM Agents); ve otomatik puanlama, sistematik biçimde yanlışken içsel olarak tutarlı olabilir — geçerlilik olmadan kesinlik. AIEd araştırmasının ölçme sınırları, güvenilir olmayan araçları çapraz kesen bir zayıflık olarak belgelemektedir.

  • Hata olarak kodlama belirsizliği iki başarısızlığı birbirine karıştırır. 30 ifadeli bir ruh sağlığı bilgi testinde, doğruluk puanlaması bilmiyorum seçeneğini yanlış olarak saymıştır; ancak öğrencilerin %67,3’ü bir olguda bunu seçerken model yanıtlarının %60,6’sı olumlu biçimde yanlıştı — zorunlu doğru/yanlış biçimi belirsizliği yanlış bir inançtan ayıramaz (Richter ve ark., 2026).

  • Değerlendirici uyumu, pratik tavanı belirler. Uruguay’nın Acredita EB sisteminde yürütülen geniş ölçekli bir doğrulama, YZ puanlamanın pratik tavanını insan değerlendirici uyumunun kendisinin belirlediğini bulmuştur: on uzmanın 50 metni bağımsız olarak puanladığı çalışmada, hiçbir derecelendirme ölçeği maddesi uzlaşıyla oy birliğine ulaşmamış; en ıraksak değerlendirici genellikle %80 uyumun altında kalırken en iyisi %90’ı aşmış; ve neredeyse tüm yanıtların karşıladığı çarpık maddelerde Cohen Kappa yalnızca hafif veya orta düzeyde kalmıştır. Yazarlar bu nedenle otomatik puanları, kendisi kusurlu bir referans standardına karşı yargılamaktadır — on değerlendirici, çoğu yanıt için tek bir işletimsel puan ve geleneksel %70 kabul edilebilirlik bölgesinde yer alan birkaç madde — tek değerlendiricili işletimsel etiketlere dayanan herhangi bir ölçme iddiası için bir ihtiyat uyarısı.

  • Geçerlilik — yanlış şeyi ölçmek. Geçerlilik, bir aracın iddia ettiği yapıyı ölçüp ölçmediğini sorar. Yaygın başarısızlıklar arasında yapının yetersiz temsili (yalnızca teknik bilgiyi örnekleyen, etiği gözden kaçıran bir YZ okuryazarlığı testi) ve yapıyla ilgisiz varyans (okuma akıcılığını ödüllendiren, hedef beceri yerine, bir madde) yer alır. YZ puanlama ve dil önyargısı, dil, ifade ve üslup gibi yüzey özelliklerinin, amaçlanan yapıyla ilgisiz biçimlerde otomatik puanları nasıl yönlendirebileceğini göstermektedir. Değerlendirme Geçerliliği, bu tehditlere karşı sigortadır.

  • Bir ölçek, amaçlanan yapıları ölçmeden amaçlanan sayıda faktör döndürebilir. Kang, Lee ve Kang (2026)], 42 maddelik bir YZ empati ölçeğinden altı faktör elde etmiş; ancak maddeler amaçlanan altı alt faktörü kurtaramamıştır — Prosocial Intention (Toplumsal Fayda Niyeti) hiçbir faktör oluşturmamıştır — bu nedenle yapı geçici olarak sunulmuştur.

  • Öz bildirim boşluğu. Öz bildirim ölçümleri algılanan yeterliliği yakalar, fiili yeterliliği değil. Bilgi tabanı tekrar tekrar, öz bildirimli YZ okuryazarlığının performans temelli ölçümlerden keskin biçimde ayrıştığını (How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures, öğretmenlerde yaklaşık %40 fazla tahmin) ve öz bildirim puanlarının, performans testlerinin başarılı olduğu yerlerde fiili YZ destekli performansı öngöremediğini göstermektedir (GLAT). Öz bildirime dayanan ölçümler, yapıları sistematik biçimde olduğundan yüksek gösterebilir ve gerçek beceri boşluklarını gizleyebilir.

  • Havuzlanmış tahmin kırılgandır. Yalnızca aynı örneklemdeki öznel–nesnel YZ okuryazarlığı korelasyonlarını havuzlayan bir 2026 yapılandırılmış derlemesi (N = 2.765), r = ,055 vermektedir (Hartung-Knapp %95 GA [−,047, ,156]); k = 3 düzeyinde, heterojenlik tahmincileri birbirinden ayrıştığı ve bir çalışmanın ağırlığın %77,2’sini taşıdığı durumda, bu bir yeterlilik kesim değeri belirleyemez (Verí (2026)).

  • Popülasyonlar arasında aktarılmayan yapılar. Strugatski ve ark., değerlendirme araçlarının insanlar ve LLM’ler için farklı bir faktör yapısına sahip olabileceğini göstermektedir — bu, aynı maddelerin popülasyonlar arasında aynı gizil yapıyı ölçmeyebileceği anlamına gelir. İnsanlar içinde bile, bir grup üzerinde doğrulanmış araçlar (örneğin Batılı, kaynaklı Yükseköğretim) diğerlerine genellemeyebilir (Küresel Güney); bu, eğitimde YZ ölçülerinin genellenebilirliği açısından bir kaygıdır.

  • Ölçmenin gözden kaçırabilecekleri. Eğitimde YZ öğrenmesinde en merkezi yer tutan bazı yapılar, iyi ölçülmesi en zor olanlardır — ve bu nedenle araçlar tarafından en kolay gözden kaçırılan veya çarpıtılanlardır:

    • Süreç ve strateji. Standart sonuç ölçümleri öğrenmenin ürününü yakalar, sürecini değil. Öğrencilerin YZ ile fiilen nasıl etkileşime girdiğini gözden kaçırabilir — aşırı yüklenme, yansız kabul veya eleştirel doğrulama. Tracing GenAI Literacy: Student-AI Interaction Patterns in Academic Writing, öz bildirim ve sonuç testlerinin bu dinamikleri gözden kaçırması nedeniyle özellikle etkileşim izlerini kullanır.
    • Boylamsal ve kalıcı öğrenme. Tek bir son test, YZ yardımından kaynaklanan şişirilmiş performansı gösterirken kalıcı, yardımsız bilginin aşınmasını gözden kaçırabilir (performans–öğrenme boşluğu). Tek bir zaman noktasında yapılan ölçüm, öğrenme hakkında etkin biçimde yanıltıcı olabilir.
    • Eşitlik ve erişim. Tek düzeyde cihaz/bağlantı erişimi varsayan veya ayrıcalıklı örneklemlerde normlanan araçlar, kaynağı kısıtlı Öğrenenler olanaklarını gözden kaçırabilir veya sistematik biçimde düşük ölçebilir; erişim boşluklarını yetenek boşluklarına yanlış atfedebilir.
    • Duygusal ve motivasyonel durumlar. Katılım, motivasyon ve öz yeterlilik çoğu zaman öz bildirimle ölçülür; yukarıdaki öz bildirim boşluğunu miras alır; öğrenmeyi yönlendiren durumsal, anlık dinamikleri yakalayamayabilir.

  • Otomatik ölçüm güvenle yanlış olabilir. Yüksek makine güveni ile opak puanlamanın birleşimi, YZ çağına özgü ayırt edici bir risktir: bir LLM puanlayıcısı veya belgeleyicisi, oldukça kendi kendine tutarlı ama sistematik biçimde önyargılı puanlar üretebilir ve titizlik görünümü (büyük N, yüksek LLM’ler arası uyum), geçersizliği maskeleyebilir. AIEd Değerlendirmesi ve Psikometrik Bilinçli YZ çerçeveleri panzehir niteliğindedir — otomatik ölçüler güvenilmeden önce kalibrasyon, belirsizlik farkındalığı ve geçerlilik kanıtı gerektirir.

Kısacası, eğitimde ölçme, örneklemediği şeyi (süreç, sürdürülebilirlik, erişim, duygu) gözden kaçırabilir ve kötü örneklediği şeyi (kendilik algısı, yüzey özellikleri, popülasyonlar arası yapılar) yanlış yapabilir. Eğitimde YZ bulgularını okumak bu nedenle, yalnızca nenin ölçüldüğünü değil, nasıl ölçüldüğünü ve aracın neyi yakalamada başarısız olmuş olabileceğini sormayı gerektirir.

  • Denetlenebilir kodlama, tanımsal hatayı model hatasından ayırır. EduBehaviors, bir yapıyı ayrı ayrı belgelenen gözlemlenebilir davranışlara ve açık bir toplulaştırma kuralına ayırır; böylece bir inceleyici hangi kanıtın bir etiketi ürettiğini görebilir ve yeni model çağrıları yapmadan kural değişikliğinden sonra etiketleri yeniden türetebilir; Teacher TalkMoves üzerinde makro-F1 0,673’e ulaşmış; bu, doğrudan LLM istek metniyle rekabetçi bir değerdir (Bernado ve ark., 2026).

Bağlantılar

Eğitimde ölçme, Madde Tepki Kuramı, Değerlendirme Geçerliliği, Bilgi İzleme ve Öğrenen Modellemesi ve Uyarlanabilir Öğretim için temeldir. Öğrenme Analitiği’e (öğrenme verisinin ölçümü), Eğitimde NLP’ye (dilin ölçümü) ve Psikometrik Bilinçli YZ’ye (ölçme kuramıyla uyumlu YZ) bağlanır. Geçerlilik ve güvenilirlik kaygıları, AIEd Değerlendirmesi’i ve alanın ölçme sınırlarını destekler. Ölçtüğü yapılar için YZ Okuryazarlığı, Teknoloji Benimseme Modelleri, Öz Yeterlilik, Motivasyon ve Öğrenci Kavraması ile kesişir.

  • Destek müdahalelerinin nedensel modellemesi (2026): yapısal nedensel modelleme protokolü, eğitim değerlendirmesini ilişkisel madde yanıt kuramı inanç güncellemesinin ötesine, güdümsel ve karşıt gerçekçi akıl yürütmeye (örneğin ipucu etkisi) taşır; yapısal denklemler tamamen mantıksal bilgi kullanılarak uzmanlardan elde edilir — zorunlu okul algoritmik beceri görevlerinde gösterilmiştir (Causal Modelling of Support Interventions for Student Competency Assessment).

Bağlı kavramlar

Bağlı makaleler

Bağlı SSS

Üst veri

Teknolojiler ve tekniklerEğitimde NLP, Bilgi İzleme, Öğrenme Analitiği
Değerlendirme ve ölçmeDeğerlendirme Geçerliliği, Madde Tepki Kuramı, Psikometrik Bilinçli YZ
Eğitimde YZ’nin temelleriYZ Okuryazarlığı
SourceHistoryEditChat

Bu sayfayı göm

Bu sayfayı bir öğrenme yönetim sistemine veya başka bir web sitesine gömmek için aşağıdaki kodu kopyalayın. Gömülü sürüm yalnızca sayfa içeriğini gösterir — site başlığını, gezintiyi ve alt bilgiyi gizler.