AIEd Değerlendirmesi

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

AIEd değerlendirmesi — AI education araçlarının (Büyük Dil Modelleri (LLM) tabanlı öğretmenler, automated graders, geri bildirim sistemleri, ajanlar) gerçekten işe yarıp yaramadığını değerlendirmek için kullanılan yöntemler, kıyaslamalar ve ölçütler bütünü — yalnızca göze çarpan doğrulukta değil, güvenilirlikte, pedagogical kalitede, geçerlilikte ve gerçek öğrenme etkisinde. Bilgi tabanının araştırmalarında tekrarlayan bir tema, değerlendirmenin alana özgü, güvenilirlikle uyumlu ve tek bir toplu doğruluk sayısı yerine insan yargısı ve eğitimsel sonuçlara dayandırılması gerektiğidir.

Düşünülmesi Gerekenler

• Bir YZ öğretmen aracının “işe yarayıp yaramadığına” nasıl karar verirdiniz? Göze çarpan bir doğruluk sayısının ötesinde, sizi gerçekten öğrenmeyi iyileştirdiğine ikna edecek hangi kanıt olurdu?
• Temel bir bulgu, güvenilirliğin geçerliliği garanti etmediğidir: bir sistem son derece tutarlı olup iyi öğretmenliğin ne olduğuna ilişkin yargısında yanılabilir. Kararlı, tekrarlanabilir bir YZ neden hâlâ yanlış olabilir?
• Değerlendirme alana özgü olmalıdır — bir ders için işe yarayan bir kıyaslama başka bir ders için yanıltıcı olabilir. Bir YZ aracı için parlak bir kıyaslama sonucu gördüğünüzde, bağlamla ilgili neyi kontrol etmek isterdiniz?
• Sistemlerin yargılandığı “gerçek referans” genellikle tartışmalıdır — doğru bir cevabın veya notun ne olduğu uzmanlar ve disiplinler arasında değişir. Bu belirsizlik, herhangi bir değerlendirmeye güvenmeyi nasıl karmaşıklaştırır?
• Araştırmalar, metin tabanlı LLM değerlendiricilerinin açıkça sözlü olarak ifade edilen davranışları ayrıcaltıkladığını ve zımni bağlamı az ağırlıklandırdığını — bir “açık ipucu önyargısı” olarak — gösteriyor. Bir makine, yalnızca göze çarpanı aradığı için hangi tür iyi öğretmenliği sistematik olarak gözden kaçırabilir?
• Modern değerlendirme ayrıca çevresel ve altyapısal maliyeti — enerji, donanım — çıktı kalitesinin ötesinde tartar. Bir YZ aracının değerini yargılarken Sürdürülebilirlik etken olmalı mıdır?

Giriş

AIEd değerlendirmesi birkaç farklı değerlendirme nesnesini kapsar. Çıktıyı değerlendirebilir (YZ’nin cevabı, notu veya geri bildirimi doğru ve güvenilir mi?), süreci (araç geçerli, savunulabilir bir değerlendirmeyi ve öğrenmeyi destekliyor mu?) ve ajanı (bir YZ öğretmeni veya ajanı etkin biçimde öğretiyor ve uygun biçimde davranıyor mu?). Her biri farklı yöntemler gerektirir ve farklı geçerlilik soruları ortaya çıkarır.

Alanın on yıllık kavisi kendi başına bir çerçevedir: Xiong and Li (2026), 313 makale üzerinde üç dönemi — Biçimlendirici (2015–2018), Genişleme (2019–2022) ve Üretken (2023–günümüz) — izler ve yapıların ve geçerlilik argümanlarının human–AI collaboration için yeniden yazılması gerektiğini savunur, zira IRT ve Klasik Test Kuramı modelleri desteksiz insan performansı üzerine kurulmuştur.

AIEd değerlendirmesinin araştırmada görünümü

• Çıktı güvenilirliği ve gerçek referans: Modernizing ground truth, AIEd değerlendirmesindeki güvenilirlik sorunlarının sıklıkla sistemlerin yargılandığı referans verinin — “gerçek referans” etiketlerinin — kendisine dayandığını savunur ve güvenilirlik ve geçerliliği artırmaya yönelik dört kaymayı önerir. Calibrating trustworthiness, bir YZ aracına duyulan güvenin gösterilmiş, yorumlanabilir kanıta dayanması için paydaşlarla birlikte değerlendirme ölçümlerini ve görselleştirmelerini ortak tasarlar.

• Otomatik not verme ve puanlama: LLM short-answer grading, confidence-aware ASAG, CoTAL human-in-the-loop prompt engineering ve cognitive-diagnosis of handwritten math, LLM’lerin not verebilip teşhis koyabildiğini, ancak güvenilirliğin ham model büyüklüğünden çok human oversight, alana özgü temellendirmeye ve güven kalibrasyonuna bağlı olduğunu gösterir.

• İçerik değil, pedagojik bilgi için bir kıyaslama. Lelièvre et al. (2025), 97 modeli Şilili öğretmen sınavı maddeleri üzerinde puanlar (CDPK %28–89); birçoğu tahmini ~%50’lik insan tabanının üzerindedir, ancak statik çoktan seçmeli maddeler ders planlamasını veya adım adım iskelelemeyi test edemez.

• Üretilen maddelerin psikometrik bir kıyaslamaya karşı doğrulanması. Isley et al. (2025), 71 sınıf için kursa özgü sınavlar üretmiş ve 20 tanesini daha insan yazımı AP Statistics maddelerine karşı kıyaslamış; 1.686 öğrenci üzerinde ön test çapalarıyla Bayesyen hiyerarşik 2PL IRT modeli uydurmuş; YZ maddeleri daha kolay ama daha ayırt edici çıkmıştır (ā = 1,3 / 1,2’ye karşı).

• Pedagojik kalite ve uyum: Why machines misread pedagogical quality, öğretmenin iyi olmasını oluşturan şeyi yargılarken insan–makine uyumsuzluğunu belgeler ve the Tutoring Effectiveness Index, öğretmen kalitesini öğretmen davranışından öngörür. Responsible assessment in the AI era ve authenticated processes, değerlendirmenin doğru cevapların ötesine geçerek YZ öğrenmenin “ürünlerini” üretebildiğinde değerlendirmenin özgün, geçerli ve savunulabilir kalıp kalmadığını incelemesi gerektiğini savunur.

• Üretim izleme ve hakim kalibrasyonu: Rohlfs et al. (2026), LLM-hakim değerlendirmesi ürün ölçeğinde çalıştığında ne olacağını, her ay milyonlarca öğretmen ve öğrenci mesajına hizmet eden bir K-12 paketinden yararlanarak bildirir. Program olgunlaştıkça, yanlış pozitifler değerlendiricilerin işaretlerini domine etmeye başlamış ve analist dikkatini ürün değişikliği gerektiren arızalardan uzaklaştırmıştır. Üç değişiklik — tekrarlanan hakim çalıştırmalarından oluşan oy birliğiyle başarısız panelleri, değerlendirici başına hakim model seçimleri ve yumuşatılmış rubrikler — doğrulanmış yanlış pozitifleri %99 azaltmış ve 21 konuşlu değerlendirici boyunca işaret başına kesinliği %0,6’dan %49’a yükseltmiş; olağanüstü arıza kümesi yakalama oranını %100’de tutmuştur. Değerlendirme uygulaması için ders şudur: bir işaretin harekete geçirilip geçirilmeyeceğine göze çarpan doğruluğu değil, değerlendiricinin çalışma noktası karar verir.

• Bir geçerlilik protokolü olarak hakim çeşitliliği. Öğretim tasarımı ajanları için bir kıyaslama, hakimlerini tek bir model sağlayıcı yerine farklı sağlayıcılardan çekmiş ve 1.017 puanlanmış senaryo boyunca yüksek hakemler arası güvenilirlik bildirmiştir (Jeon et al. (2026)).

• Bir açıklamayı, iddia ettiği atıfa karşı denetleyin, akıcılığa karşı değil. Pan et al. (2026), bir modelin anlatımlarını aritmetik kapama, alıntılanan kovaryatlar, karar bağlılığı ve güvensiz tedavi oranına bağlar, zira akıcı metin, sinyali kesin olsun ya da gürültülü olsun eşit biçimde iyi biçimlenmiştir — anlatımların %98,8’i geçerken olumsuz kuyruk kırpılmıştır.

• İstek metni duyarlılığı, bir LLM not vericinin birinci dereceden bir özelliğidir. Habibullah et al. (2026), 570 öğrencinin computer-vision sınavını 171 yapılandırma üzerinden ve 1.038 öğrencinin makine öğrenimi sınavını 162 yapılandırma üzerinden notlamıştır: kısa bir “katı not verici” ön açıklaması, 17 açık ağırlıklı modelden 14’ünü notlandırma bandının dışına itmiş, tekrar deney ise güvenliği yeniden üretmiş ama yönünü değil, nötr istek metinleriyle aşırı not veren yedi modeli iyileştirmiştir. Tek bir istek metninin doğruluğu, kullanılabilir bir not vericinin kanıtı değildir ve işaretli önyargı ortalama mutlak hata değerinin yanında yer almalıdır; havuzlanmış çift notlu örnekler üzerinde LoRA ince ayarı beş küçük modeli insan düzeyine getirmiş ve kişilik duyarlılığını neredeyse silmiştir.

• Derecelendirilebilir kanıt bir tasarım değişkenidir, görevin bir özelliği değildir. Globerson et al. (2026), bir Yönetici LLM’nin rubriği elinde tutmasına ve konuşmayı değerlendirilen beceriye doğru yönlendirmesine izin vermiş; bu, proje yönetimi için derecelendirilebilir kanıtı %92,4’e, çatışma çözümü için %85’e yükseltmiş, katılımcılara beceriye dikkat etmelerini söylemek ise hiçbir şeyi değiştirmemiştir.

AIEd değerlendirmesi neden zordur

AIEd değerlendirmesi birkaç nedenle zordur. Birincisi, güvenilirlik yeterli değildir — bir sistem bir rubrikle hemfikir olup pedagojiyi yanlış yargılayabilir; bunu human–machine alignment research gösterir. İkincisi, gerçek referans tartışmalıdır — “doğru” bir cevabın, notun veya öğretme hamlesinin ne olduğu, disiplinler ve uzmanlar arasında değişen kendi başına bir yargıdır; buna ground-truth modernization dayanak olur. Üçüncüsü, eğitimsel geçerlilik çok boyutludur — Değerlendirme Geçerliliği, Biçimlendirici Değerlendirme ve Özgün Değerlendirme, tek bir doğruluk ölçüsünün yakalayamayacağı farklı ölçütler getirir. Son olarak, hedef sürekli hareket eder — ajan YZ ve Çok Kipli YZ modeller, metin modeli kıyaslamalarının yeniden kullanımı yerine değerlendirme çerçeveleri (Etkenik YZ, tool-invariant assessment) talep eder. Değerlendirme bulguları ayrıca tüm AIED araştırmalarını etkileyen aynı kesişen sınırlamalara tabidir — YZ geliştikçe yaşlanırlar, yeniden üretilebilirlik ve FAIR uygulamalarına bağlıdırlar ve tescilli sistemlere dayanabilirler — dolayısıyla değerlendirme sonuçları AIEd Araştırmalarındaki Sınırlılıklar içindeki uyarılarla okunmalıdır. Yeni bir boyut daha kaynak sürdürülebilirliğidir: yerinde dağıtımlar giderek artan biçimde, doğruluğun yanında enerji tüketimini ve donanım gereksinimlerini (örneğin VRAM, sorgu başına mWh) bildirir — bkz. sustainable on-premise knowledge-base assistants — böylece eksiksiz bir değerlendirme, yalnızca çıktı kalitesi değil çevresel ve altyapısal maliyeti de tartar.

Güvenilirlik geçerliliği garanti etmez. Validation of LLM-based classroom observation, bir modelin tekrarlanan değerlendirmelerde son derece kararlı olup yine de uzman yargısıyla uyumsuz kalabileceğini, tersine uzmanlarla iyi uyumlanan modellerin sıklıkla daha değişken olduğunu gösterir — güvenilirlik ve doğruluk birbirinden kopar, dolayısıyla tek geçişli bir doğruluk değeri güvenilirliği olduğundan fazla gösterebilir. Aynı çalışma bir açık ipucu önyargısı belgeler: metin tabanlı LLM değerlendiriciler, açıkça sözlü olarak ifade edilen davranışları ayrıcaltıklar ve zımni veya bağlamsal kanıtı az ağırlıklandırır (örneğin, bir rubriğin yokluğa toleranslı ölçütlerde yüksek not vermesine izin verdiği durumlarda süregelen öğrenci self-regulation), rastgele değil sistematik bir anlaşmazlık üretir. Bu, ölçüm güvenilirliğinin geçerli yoruma — onun yerine geçen bir vekil değil — ön koşul olduğunu ve değerlendirmenin uzman çapalı doğruluğun yanında tekrarlı ölçüm kararlılık kontrolleri içermesi gerektiğini vurgular.

Doğrulanmış bir uzun ufuk söylem modeli bile bağımsız sonuç ölçütlerini yalnızca zayıf biçimde izler: NSPA’nın Öğrenci Akıl Yürütme ve Öğretmen Benimseme puanları, öğretmen etkililiğinin katma değer modelleriyle ρ = 0,10 düzeyinde korele olmuştur; dolayısıyla otomatik yapıların değerlendirmeyi bilgilendirmesinden önce dış sonuç doğrulamasına ihtiyacı vardır (Fang and Liu, 2026).

Benzetilmiş öğrenenlerin değerlendirmesi aynı standarda tabidir: bir benzetirici yalnızca davranışı epistemik olarak sadık olduğunda geçerlidir, yalnızca akıcı değil; dolayısıyla belirtilen davranışsal hedefine ve çevresine karşı, jenerik insansılığa karşı değil puanlanmalıdır — ve otomatik hakimler uzman insan tercihleriyle zamanın yaklaşık %65’inde örtüşür (Yuan et al. (2026)).

Toplu doğruluk, kime kötü hizmet edildiğini gizler. Evaluations of vision-language models on DrawEduMath, toplam doğruluğun sistematik bir zayıflığı gizlediğini gösterir: modeller, en çok pedagojik yardıma ihtiyaç duyan öğrenci çalışmalarında (hatalı, zorlanan öğrenci çalışmaları) tam olarak geride kalır; dolayısıyla yeteneği olduğundan fazla göstermekten ve başarı boşluklarını genişletmekten kaçınmak için değerlendirmenin öğrenci yeterliliğine ve hata durumuna göre ayrıştırılması gerekir.

İkili doğruluk, önemli olan arızaları gizler. 10.836 benzetilmiş çift üzerinde üç yönlü bir adım teşhis kıyaslamasında, yedi LLM öğretmeni en uygun adımları neredeyse kusursuz sınıflamış (F1 %94–99), ancak geçerli alternatifleri F1 %0–76 ve yanlış adımları %4–55 düzeyinde sınıflamıştır — aşırı reddetme ve aşırı doğrulama — ve doğru teşhis bile harekete geçirilebilir geri bildirim üretmemiştir (Yasir et al. (2026)).

• LLM’leri değerlendirmek için insan araçlarını yeniden kullanmak, bir gizli yapı kontrolü gerektirir. Strugatski et al. (2026), insanlar ve altı çok kipli LLM için ayrı ayrı açıklayıcı faktör analizi uydurmuştur: LLM–insan örtüşmesi her iki araçta da insan–insan tabanının altında kalmış ve paralel analiz farklı faktör sayıları tuturmuştur (insanlar için beş, LLM’ler için dört).
• Ortak değerlendirme, tek bir puanın gizlediği ödünleşimleri ortaya çıkarır. Jiang et al. (2026), eğitime dönük dokuz modeli tek bir protokol altında yetenek, güvenlik, temel eğitim ve üst düzey kültürleme üzerinden puanlar: ilk altısı genel olarak istatistiksel olarak birbirinden ayırt edilemez olmasına rağmen Güvenlik’te 19,5 puan fark gösterir ve Güvenlik, Temel Eğitimle güçlü biçimde ters koreledir (r = −0,83).
• Sınıf çarpıklığı bir değerlendirme ölçüsünü yanıltıcı kılabilir. Csibi and colleagues (2026), %68’i tek bir düzeyde yer alan 1.954 Macar öğretmen eğitimi denemesinde yansıma düzeyini sınıflamıştır: tek bir yüzeysel yapılandırma yalnızca 0,5162 doğrulukta ROC-AUC 0,7131’e ulaşmış ve sınıf dengeleme her ölçütü düşürmüştür (olmadan 0,6672 doğruluk, varken 0,6408). Yüzeysel modeller en iyi toplu puanları almış, transformerlar ise azınlık düzeylerini daha iyi ele almıştır; dolayısıyla bildirilen değer, bir kararın gerçekten bağlı olduğu performansı izlemelidir.
• Kıyaslama ve not verici hataları model arızasıyla karıştırılır. Yaygın olarak kullanılan altı physics kıyaslamasının uzman yeniden notlaması, 250 reddedilmiş maddeyi denetlemiş ve 143’ünü (%57,20) kıyaslama kusurlarına, 95’ini (%38,00) not verici hatalarına atfetmiş; yalnızca 12’si (%4,80) gerçek model hatası olarak kalmış, dolayısıyla ölçülen boşluğun %95,20’si modele atfedilemez niteliktedir. Maddelerin onarılması, HLE-Physics mean@4’ü %47,28’den %78,66’ya ve CritPt mean@5’i %32,29’dan düzeltilmiş %87,50’ye taşımış, görünürdeki sınır modeli zayıflığını neredeyse doyuma dönüştürmüştür. Denetim, bildirilen bir puanın model, madde bankası ve not vericinin ortak bir özelliği olduğunu ve bir kıyaslamadan çıkarılan her yetenek iddiasından önce uzman hakemliğinin gelmesi gerektiğini savunur. (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)

Değerlendirilen sistemlerin hızı, ek bir kısıttır. Harrison et al. (2026), zamansal sorunu doğrudan tanımlar: büyük ölçekli bir deney tasarlanıp, uygulanıp, çözümlenip yayınlandığında, incelenen teknoloji önemli ölçüde değişmiş olabilir; bu, güçlü kanıtın en çok gerektiği anda uygulamayı zayıf gözlemsel veya kullanım verilerine doğru iter. Onların yanıtı daha zayıf tasarımları kabul etmek değil, döngüyü kısaltmaktır — nedensel karşıtlığı koruyan ve platform geliştikçe tekrarlanan uygulayıcı yönetimli mikro-rastgele deneyler.

• Veri sadakati, çıktı kalitesinden ayrı bir değerlendirme problemidir. Her değişkenin özet istatistiklerini yeniden üreten sentetik eğitim kohortları, verinin yapısını yine de yanlış belirtebilir: öğrenenler üzerinde haftalık bir yakınlık grafiği, sentetik sürümlerde gerçek kohortlardan 2,6 ila 4,9 kat daha az değişmiştir; dolayısıyla bir sadakat puanı, gerçek veri üzerinde hangi analizlerin ayakta kalacağını öngörmez (Inoue & Yasutake, 2026).

• Dağılım içi doğruluk, konuşlandırılabilirlik değildir. Küratörlü madde bankasında makro F1 0,88 puan alan bir Bloom düzeyi sınıflandırıcısı, YZ tarafından üretilmiş iki soru kümesinde 0,48 ve 0,20’ye düşmüştür; bu kayıp, model büyüklüğünden çok açık Bloom tetikleyici fiillerinin neredeyse yokluğunu izlemiştir; eğitimsiz LLMs dağılım dışında en dayanıklı seçenek olmuştur (0,79 ve 0,41–0,51) ve etiketlenmiş dağılım dışı veri üzerinde yeniden eğitim en büyük kazanımları geri kazanmıştır (0,82’ye kadar); dolayısıyla aktarım, dağılım içi uyumun yanında raporda yer almalıdır (Castanares et al., 2026).

• Bir YZ zorluk ölçeği bir değerlendirme yardımıdır, bir not değil. YZ zorluk tahminleri, soru düzeyinde geçme oranını güçlü biçimde izlemiş (79 soru üzerinde rho = −0,871), ancak 106 soruluk bir CS101 örneğinde −0,552’ye zayıflamış ve sınav düzeyinde sıfıra yaklaşmıştır; dolayısıyla bu tür ölçekler madde incelemesine aittir, öğrenci değerlendirmesine değil (Yan et al. (2026)).

İlgili kavramlarla bağlantılar

AIEd değerlendirmesi, bilgi tabanının yöntemlerinin ve risklerinin merkezinde yer alır. Değerlendirme Geçerliliği, Eğitimde Ölçme ve Karşılaştırma testi (Benchmark) kavramlarını Değerlendirme ve Otomatik Değerlendirme içinde işlevsel kılar. İnsan gözetimi çağrısı İnsan-Denetiminde Yapay Zeka ve Öğretmenlik ile bağlanır; güvenilirlik odaklanması ise Halüsinasyon Riski, Confidence Aware AI Assessment ve Güven Kalibrasyonu ile bağlanır. Performansı değerlendirmek ile öğrenmeyi değerlendirmek arasındaki ayrım performance vs. learning ve Öğrenen Modellemesi ve Uyarlanabilir Öğretim ile bağlantılıdır; ve pedagojik ajanların değerlendirmesi Akıllı Özel Öğretim, LLM Eğitimi ve İnce Ayar ve Pedagojik Güvenlik ile bağlanır.

Öğrenme kazanımlarının değerlendirilmesi

AIEd değerlendirmesinin merkezi bir nesnesi, bir YZ aracının ürettiği bilgi veya beceride ölçülebilir iyileşme olan öğrenme kazancıdır (bkz. Öğrenme Kazanımları). Kazançları titiz biçimde değerlendirmek, performance and learning diverge için doğru sonuç ölçüsünü seçmeyi gerektirir: YZ, anlık, YZ destekli görev performansını şişirirken kalıcı, desteksiz öğrenmeyi değişmeden veya azalmış bırakabilir (bkz. Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build, The Generative AI Learning Penalty: Evidence from Chinese Secondary Education). Etkin kazanç değerlendirmesi bu nedenle:

• Desteksiz, YZ’ye dirençli sonuç ölçütleri kullanır. Guardrail evidence ve summative-assessment research, gerçek learning gains ortaya çıkaranın YZ destekli ödev veya ev ödevi değil, gözetimli, kitapsız, desteksiz ölçümler olduğunu gösterir.
• Desteklenen performansı kalıcı öğrenmeden ayırır. Meta-analysis, YZ’nin önemli bir öğrenme kazancı olmadan (g ≈ 0) büyük üretkenlik kazançları üretebileceğini gösterir; dolayısıyla değerlendirmeler her ikisini de bildirmelidir.
• Teknoloji nesli önemli olmayabilir ve maliyet verileri eksiktir. Burneo et al. (2026), 14 rastgele deneyi ortalama 0,125 standart sapma öğrenme kazancına havuzlar; üretken YZ’nin önceki uyarlanabilir yazılıma göre hiçbir avantajı yoktur (0,022 standart sapma, SE 0,075) ve karşılaştırılabilir öğrenci başına maliyet yalnızca iki veya üç çalışmada bildirilmiştir.
• Ön test/son test ölçülerini geçerlilik kontrolleriyle eileştirir. Değerlendirme Geçerliliği ve Eğitimde Ölçme kazanç ölçümünü temellendirir; meta-analytic review, alanın kazanç kanıtını tesis etmek için çalışmalar arasında etki büyüklüklerini havuzlar.
• Öğrenene ve bağlama göre ayrıştırır. Öğrenme Kazanımları nüfusa, alana ve YZ yapılandırmasına göre değiştiğinden, değerlendirme tek bir toplu değer yerine farklı öğrenci alt grupları için kazançları bildirmelidir (örneğin VLM evaluations hata durumu için ortaya çıkardığı gibi ön yeterliliğe göre) ve kazanç bulgularını daha geniş kanıt temelinde konumlandırmak için Meta-Analiz ve Sistematik Derleme ile bağlamalıdır.

Bağlam koşullu kıyaslamalar gereklidir: Zhang et al. (2026), önceki öğretmenlik kıyaslamalarının (MathTutorBench, MRBench, LearnLM) yardım ikileminin tek tarafını ödüllendirdiğini veya yetersiz tanımlanmış rehberlik verdiğini savunur. TutorMoments bunun yerine öğretmenlerin tanımladığı pedagojik karar noktalarını yeniden oynatır ve bir öğretmenin yardımının belirli öğrenme anına uygun olup olmadığını — İskeleleme (Scaffolding) / titizlik — değerlendirir.

• Seçtiğiniz ölçüt sonuçlarınızı tersine çevirebilir. Zhang et al. (2026), YZ öğretme ajanlarını medical education değerlendirirken, bir educational platform açıklanmayan toplu puanlarının, şeffaf ve uzman doğrulamalı sekiz boyutlu öğretme kalitesi rubriğine (tıbbi bilgi doğruluğu, pedagojik rehberlik, bilgi kapsamı, rol yapma kalitesi, uyarlanabilir zorluk, tıbbi güvenlik, etkileşim, geri bildirim) neredeyse zıt düzende ajanları sıraladığını bulmuştur. Platform puanları öğrenci performansını endeksler; rubrik ajanın öğretme davranışını endeksler — yanlış ölçüt seçmek, hangi ajanların benimseneceğine veya iyileştirileceğine karar verir. Ayrıca LLM değerlendirici hoşgörüsünün modele göre değiştiğini bulmuşlardır (bazıları ayırt edemeyecek kadar hoşgörülü); dolayısıyla otomatik puanlamanın insan kalibrasyonuna ihtiyacı vardır ve en çok bilişsel süreç boyutlarında güvenilirdir.
• Bir hata oranı, yakalaması gereken arızayı gizleyebilir. Stanchev (2026), bir tıbbi İngilizce parçanın tek bir metinden konuşmaya dönüştürme kaydını dört ASR hizmetine göndermiştir: iki ücretsiz hizmet referansın %87,96 ve %88,34’ünü döndürmüş, iki ücretli hizmet ise %32,76 ve %55,35 ön izleme döndürmüş ve böylece %73,21 ve %48,77 kelime hatası oranı puan almıştır. Yüksek hata oranları, yanlış duyulmuş belirteçlerden değil, hiç döndürülmemiş belirteçlerden gelmiştir; dolayısıyla yalnızca hata oranına göre sıralamak, bir dışa aktarma kısıtlamasını bir transkripsiyon hatası olarak ele almıştır. Otomatik bir ölçüt, öğrenenin gördüğü yapıtın yerine geçtiği her an kapsam hata oranının yanında yer almalıdır.
• Değerlendirme paketlerini ölçülmüş öğrenmeye çapalayın, vekillere değil. Öğretme yeteneği kıyaslamaları, konuşmaysal pedagoji rubrikleri ve öğretmen gecikmesi, onların yerine geçen vekiller olarak değil, gerçek öğrenme kazanımlarına karşı doğrulanmalıdır; gecikme ayrıca bir değerlendirme eksenidir, çünkü öğrencilerin hiç etkileşime girip girmeyeceğini şekillendirir (Northcutt et al., 2026).
• Uzman yargısı değerlendirmelerinin kendi güvenilirlik hesaplamasına ihtiyacı vardır. Puech et al. (2026), 25 alan eşleşmiş uzmanın 92 üretilmiş lecture videos “standart bir MOOC dersinin kalitesine” çapalanmış bir rubriğe karşı değerlendirmesini sağlamış; %87’sini çıta düzeyinde veya üzerinde bulmuştur (5 üzerinden ortalama 3,42). Her video yalnızca bir değerlendirici tarafından bir kez derecelendirilmiştir (k = 1); dolayısıyla tasarım, paneli değerlendiriciler arası anlaşma istatistiği pahasına korpus üzerine yayar; rastgele kesişimli bir model, artık varyansın yaklaşık %35’ini değerlendiriciye atfetmiştir (ICC = 0,35) ve makale, tek bir kesinlik değeri yerine değerlendirici kümelenmeli aralıkları bildirir. Uzman yargısına dayalı bir değerlendirme, yayınladığı güvenilirlik analizi kadar güçlüdür.

Bağlı kavramlar

• AIEd Araştırmasını Yorumlamak ve Uygulamak
• YZ Destekli Eğitim Araştırması — AI-Assisted Educational Research
• Değerlendirme Geçerliliği — Validity of interpretation in AI-ed evaluation
• Eğitimde Ölçme — Measurement theory for assessing learning
• Psikometrik Bilinçli YZ — Applying psychometrics to AI-based assessment
• Karşılaştırma testi (Benchmark) — Standardized benchmarks for evaluating AI systems
• Otomatik Değerlendirme — AI-based grading and scoring systems
• Öğrenme Analitiği — Data-driven analysis of learning behavior
• AIED’de Araştırma Yöntemleri — Research methods for AI in education
• Öğrenme Kazanımları — Measuring learning gains from AI tools
• Biçimlendirici Değerlendirme — Ongoing assessment to guide instruction
• Toplayıcı Değerlendirme — Summative assessment: AI-resistant formats (oral, proctored, closed-book exams)
• Özgün Değerlendirme — Assessment of real-world, transferable performance
• İnsan-Denetiminde Yapay Zeka — Human oversight of AI evaluation
• Güven Kalibrasyonu — Calibrating trust in AI systems
• Halüsinasyon Riski — Risk of fabricated content in AI outputs
• Akıllı Özel Öğretim — Evaluating AI tutoring systems
• Etkenik YZ — Evaluating autonomous AI agent behavior

Bağlı makaleler

• What Platform Scores Miss: Multidimensional Evaluation of AI Teaching Agents in Medical Education — What platform scores miss: multidimensional evaluation of AI teaching agents
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Do assessment instruments measure the same thing for humans and LLMs? (Strugatski et al. 2026)
• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Assessing the quality of AI-generated exams: a large-scale field study
• Neuro-symbolic pedagogical alignment (NSPA) for long-horizon classroom discourse analysis: Mitigating dialect bias via counterfactual preference optimization — Neuro-symbolic pedagogical alignment (NSPA)
• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most — Three-way classification benchmark of LLM tutoring agents (Yasir et al. 2026)
• The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors — Evaluating VLMs on DrawEduMath: error content hardest (Lucy et al. 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — Benchmarking LLM pedagogical knowledge (CDPK + SEND)
• Validating AI-generated classroom observations: Reliability, accuracy, and limits of LLM-based pedagogical judgment — LLM classroom observation validation: reliability vs accuracy (Melo et al. 2026)
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — On-premise OER AI knowledge-base assistants: multi-dimensional evaluation
• Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education — Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity
• Calibrating Trustworthiness: Co-Designing Metrics and Visualizations for Evaluating LLMs in Education — Calibrating Trustworthiness: Co-Designing Metrics and Visualizations
• TeachBench - Evaluating LLM Teaching Ability — TeachBench: Evaluating LLM Teaching Ability
• Why Machines Misread Pedagogical Quality: Human-Machine Alignment in LLM-Based Pretest Question Evaluation — Why Machines Misread Pedagogical Quality: Human-Machine Alignment
• Confidence Estimation in Automatic Short Answer Grading with LLMs — Automatic Short Answer Grading With LLMs
• CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback — CoTAL: Human-in-the-Loop Prompt Engineering for Formative Assessment
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Benchmarking LLMs for Diagnosing Students' Cognitive Skills
• The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality from Four Conversation Signals — The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — ISD Agent Benchmark
• A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI — A Tool-Invariant Framework for Teaching and Assessing Computational Methods
• Towards Valid Student Simulation with Large Language Models — Toward Valid Student Simulation With Large Language Models
• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — From Evaluated Models to Evaluation Aids
• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — The Theoretical Foundation of Socratic Tests
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Responsible Assessment in the AI Era
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — From Authentic Products to Authenticated Processes
• Generative AI technologies and educational outcomes: a comprehensive meta-analysis comparing traditional and AI-driven approaches — Meta-analysis of generative AI educational outcomes
• When Help is Unhelpful: Evaluating AI Tutors for Productive Struggle — When Help is Unhelpful: evaluating AI tutors for productive struggle
• ELBench: A Multi-Dimensional Benchmark for Education-Facing Large Language Models — ELBench: education LLM benchmark
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — AI grading of handwritten physics assessments (Olympiad)
• Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Distilling self-explaining LM for learning analytics
• Can EdTech Close Learning Gaps? Global Evidence from Digital Interventions — Meta-analytic evaluation of adaptive + AI EdTech
• A Decade of Reflection and Thematic Review on Artificial Intelligence's Impact on Educational Measurement — AI's role across scoring, psychometrics, assessment
• Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science — Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomized Trials of an AI Tutoring Platform in GCSE Science
• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: Process-Based Math Item Quality Assessment
• Towards Scalable Measurement of Durable Skills — Toward Scalable Measurement of Durable Skills
• From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning — From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI and human tutoring yield equivalent GRE learning gains
• What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data — What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions
• When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI — When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI