AIEd Bilgi TabanıAIEd KB
Bu sayfada

Bu sayfayı İngilizce okuyun

Kavramlar

Karşılaştırma testi (Benchmark)

Oluşturuldu 2026-10-14

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Karşılaştırma testi (Benchmark) — YZ modellerinin eğitim görevlerindeki performansını ölçmek için kullanılan standart test paketleri ve değerlendirme çerçeveleri. Karşılaştırma testleri, modeller ve yaklaşımlar arasında yeniden üretilebilir karşılaştırmayı olanaklı kılar ve eğitimde yapay zeka sistemlerinin güvenilirliğinin, adilliğinin ve pedagojik kalitesinin değerlendirilmesi için esastır.

Düşünülmesi Gerekenler

  • Karşılaştırma testi, YZ model performansını eğitim görevlerinde ölçmeye yarayan standartlaştırılmış bir test paketidir. Okumadan önce: YZ karşılaştırma testlerinin çoğunun aslında neyi test ettiğini düşünüyorsunuz — ve bunun iyi bir öğretmenin ihtiyaç duyduğu şeyden neden farklı olabileceğini?
  • Bu sayfa, içerik bilgisinden ziyade pedagojik bilgiyi — öğretim stratejileri, değerlendirme yöntemleri, özel eğitim pedagojisi — test eden bir Pedagoji Karşılaştırma Testi’ne dikkat çeker. Bir konuyu mükemmel bilen bir YZ neden onu öğretmede başarısız olabilir, ve pedagojiyi göz ardı eden bir test bunu neden kaçırır?
  • Buradaki derslerden biri yöntemseldir: bir testi nasıl doğruladığınız sonuçları büyük ölçüde değiştirir; naif doğrulama, titiz ve deneme-bağımsız yöntemlere kıyasla çok daha yüksek performans bildirir. Bir model geliştiricisi veya sağlayıcısı doğrulamayı iyi görünecek biçimde tasarlamaya nasıl cazip gelebilir ve bunu nasıl fark edersiniz?
  • Test performansı sıklıkla gerçek dünya faydasına aktarılmaz. Bir YZ’nin bir testi “kazandığı” ama gerçek bir sınıfta başarısız olduğu bir senaryo düşünebiliyor musunuz — ve bu uçurum, yalnızca test puanlarına güvenmek konusunda size ne anlatıyor?
  • Sayfa, test tasarımının önyargıyı doğrudan kodlayabileceğini veya yükseltebileceğini not eder. Eğer bir test belirli görevlerden, belirli dillerde, belirli topluluklardan oluşuyorsa, sonuçta kimin öğrenmesini ölçer — kiminkini göz ardı eder?

Giriş

Karşılaştırma testleri, eğitimde yapay zeka araştırmasının kanıt temelini oluşturur. Araştırmacıların modelleri karşılaştırmasını, ilerlemeyi izlemesini ve başarısızlık biçimlerini belirlemesini sağlayan standart veri kümeleri, görevler ve ölçütler sunarlar. Bilgi tabanının araştırmasında karşılaştırma testleri birçok alanda görülür:

  • CSTutorBench, bilgisayar bilimi öğretmenliği görevleri için küçük dil modellerini değerlendirir.

  • ANVIL, YZ tarafından üretilen eğitim animasyonlarını insan yapımı alternatiflere karşı test eder.

  • Öğretim geri bildirimi testleri, geri bildirim kalitesi sınıflandırmasının diller arası aktarımını değerlendirir.

  • Pedagoji Karşılaştırma Testi (CDPK + SEND), içerik bilgisi yerine pedagojik bilgiyi — öğretim stratejileri, değerlendirme yöntemleri ve özel eğitim pedagojisi — test eder ve 97 model arasında maliyet–doğruluk “değer sınırı” bildirir (genel testlerin çoğu içerik bilgisini test eder; pedagoji, eğitim açısından kritik ayrı bir boyuttur).

  • ISD-Agent-Bench, Büyük Dil Modelleri (LLM) tabanlı öğretim tasarımı etmenlerini 25.795 öğretim tasarımı senaryosu üzerinde test eder; klasik ISD çerçevelerine (ADDIE, Dick & Carey, Hızlı Prototipleme) dayalı hibrit etmenlerin saf kuram veya saf teknik üzerine çalışanlardan üstün olduğunu gösterir — eğitimde etken YZ tasarımı için doğrudan çıkarımları olan bir test sonucu.

  • Öğrenen uyarlaması açık bir test ölçütü olarak. Teaching Monster Challenge, belirtilen bir öğrenen personaya uyarlamayı puanlar, ancak otomatik LLM-hakemi yalnızca zayıf bir kuyruğu ayırt edebildi — en iyi sistemler tavanına yakın puan aldı ve sıralaması kalabalık tercihiyle çelişti (Spearman ρ = −0.17) (Lin vd. (2026)).

Karşılaştırma testleri neden AIED için önemlidir

Karşılaştırma testleri AIEd Değerlendirmesi ve Değerlendirme Geçerliliği ile bağlantılıdır — titiz testler olmadan YZ öğretmenliği etkililiğine ilişkin iddialar doğrulanamaz. Ayrıca test tasarımı önyargıları kodlayabileceği için Önyargı Azaltma ile kesişirler. Test performansı ile gerçek dünya faydası arasındaki gerginlik, Üretici YZ uygulamalarındaki Öğrenmenin Aktarımı kaygılarına bağlanan birden fazla makalede incelenir.

  • Ölçütün, sistemin değil, başarısızlık olduğu durum: AlgoRAG, 179 kuramsal bilgisayar bilimi sınav sorusunun tamamında BLEU-4 = 0.0000 aldı, oysa altı ölçütlü bir pedagojik rubrik 0.7620 verdi; çünkü mantıksal olarak eşdeğer ispatlar düzenek, değişken adları ve ispat stratejisi açısından düzenli olarak farklılaşır. Sıfır puan, yanıt kalitesinden çok n-gram örtüşmesi hakkında bir şey söyler; bu, resmi alanlardaki AIED sistemlerinde yüzeysel ölçütleri başlıca sayı olarak ele almanın genel karşıt argümanıdır.
  • Yapı düzeyinde karşı-olgusal testler. CFES-P24, multimedya öğrenmesi ilkelerini deterministik ve geri dönüştürülebilir slayt dönüşümleri olarak ifade ederek MLLM’lerin inandırıcı bütüncül puanlamalar üretmek yerine belirli öğretim tasarımı yapılarına yanıt verip vermediğini denetler. Dondurulmuş bir pilot çalışmada yapı tanıma (işlem, ilke, onarım, kanıt yerelleştirme) 8/8 iken karşılaştırmalı yargı (yön 6/8) ve önem kalibrasyonu (0/8) başarısız oldu — bu durum birleşik puanlar yerine katmanlı puan kartları lehine bir argümandır.(Benchmarking Multimodal Large Language Models for Educational Slide Auditing)
  • Sanrıyı ve enerjiyi yalnızca doğruluğa değil değerlendirmeye yerleştirmek. Shen vd. (2026), sanrıyı getirilen açık lisanslı parçalara karşı çıkarım (κ = 0.76, uzman yargısıyla) olarak puanladı ve sorgu başına 1,8 mWh kaydetti; ayıklama deneylerinde getirim ilk sırada çıktı: getirimi olmayan yerel bir LLM yüzde 52,3 aldı ve bu, yüzde 55,4 olan TF-IDF taban çizgisinin altındaydı.
  • Üretilen içerikte doğrulama, yargıdan üstün olabilir. Kumar vd. (2025), üretilen matematik diyagramlarını şema kısıtlı bir ara gösterime geri çevirip deterministik kural denetimleri uygular; insan puanlayıcılarla LLM-as-a-Judge (0,39–0,47) yerine daha yüksek uyum (Cohen’ın κ 0,48–0,56) elde eder ve küçük bir modelin en iyi hakem düzeyine 10 kat daha düşük maliyetle ulaşmasını sağlar.
  • Fizyolojik testlerde deneme-bağımsız değerlendirme. Nanayakkara & Halloluwa (2026), EEG temelli tanıdıklık tahmini için 15 ML/DL modelini test eder ve doğrulama düzeninin seçiminin başlıca sonuçları büyük ölçüde değiştirdiğini gösterir: standart katmanlı çapraz doğrulama zamansal sızıntıya izin vererek 0,9853’e kadar F1 bildirirken, deneme-bağımsız Group K-Fold doğrulaması zirveyi 0,6038 F1’e düşürür. Ders — inandırıcı eğitim testleri için zamansal/sızıntı duyarlı değerlendirme esastır — EEG’in ötesine, sıralı veya zamana yapılandırılmış veri kullanan her teste uzanır.
  • Dağılım kayması, sızıntının ötesinde ikinci bir test eksenidir. Bir sınıflandırıcının dağılım içi puanını ve aktarım puanını bildiren bir test iki farklı niceliği bildirmektedir: seçilmiş bankasında makro F1 0,88 olarak tutulan bir Bloom düzeyi sınıflandırıcısı, iki YZ üretimi soru kümesinde 0,48 ve 0,20’ye düştü ve etiketli dağılım dışı veri üzerinde yeniden eğitim 0,82’ye kadar toparlandı; böylece tek bir dağılım içi liderlik tablosu sayısı, konuşlandırılmış bir aracın yapacağı işi olduğundan yüksek gösterir (Castanares vd., 2026).
  • Çapraz-derlem aktarımını test etmek için kurulmuş bir derlem. ICLE++, ikna edici kompozisyonları bütüncül ve on özellik düzeyinde puanlarla açıklayarak, AES araştırmasının uzunluğu kaliteyle karıştıran, zaman sınırlı ve yalnızca ana dili konuşanına ait kompozisyonlara dayanan ASAP’ye olan bağımlılığını ortaya çıkarır; özellik açıklamaları üzerinde eğitilmiş modeller, yalnızca bütüncül puanlarla eğitilmiş olanlardan derlemler arasında daha iyi aktarım gösterdi (Li & Ng, 2026).
  • İnsan normlu bir test, LLM için aynı yapıyı ölçmeyebilir. Strugatski vd. (2026), bir kimya teşhisi ve niceliksel muhakeme sınavında insan ile çok kipli LLM’lerin yanıt yapılarını karşılaştırdı; LLM’ler ile insanlar arasındaki faktör uyumu insan–insan taban çizgisinin altında kaldı ve paralel analiz farklı faktör sayılarını korudu.
  • Çok kiplilik kanıtsal kalibrasyonu iyileştirmedi. MathCog üzerinde 639 elle yazılmış matematik yanıtına ilişkin 3.036 öğretmen açıklamalı karara göre 18 LLM’den hiçbiri makro F1 0,5’e ulaşmadı — en iyisi GPT-4o-img 0,448 aldı — ve kanıt belirsiz olduğunda çok kipli modeller yalnızca metne dayalı olanlardan daha fazla bozuldu; kanıtı aşırı atfetme ve alıntı uydurma eğilimi gösterdiler (Kim vd. (2025)).
  • YZ öğretmenliği için sentetik testler. YZ öğretmenliğini değerlendirmeye yönelik açık, yeniden üretilebilir veri kümeleri hâlâ kıttır. ASTRA (Adaptive Socially-intelligent Team Reasoning Agents), sosyal olarak farklılaşmış etmenlerle işbirlikçi programlamayı incelemeye yönelik çok etmenli bir öğretmen prototipi ve test çerçevesidir; tek başına-öğretmen, çift-öğretmen ve çift-çok etmenli yapılandırmaları (N=540; 360 oturum; 1.440 bölüm) destekler ve etkileşim, katılım dengesi ve doğrulamanın yeniden üretilebilir analizi için iz kaydına hazır bir şema sunar.
  • Ufuk, bir test eksenidir; ayrıntı değil. Lee vd. (2026), bir öğretmen etmenini simüle edilmiş bir öğrenenle kesintisiz 30 günlük bir ilişkiye yerleştirir ve her uyarlayıcının 5–10. günde bir plato yakaladığını, hiçbir uyarlayıcının birden fazla temel model katmanında öğrenme kazancı sağlamadığını ve beş puanlama ekseninin büyük ölçüde birbirinden bağımsız olduğunu bulur.
  • Liderlik tablolarına değil insan öğretmenlere karşı puanlanan bir öğretmenlik testi. StudentBench, 2.383 yetişkini YZ öğretmenliği, canlı uzman insan öğretmenliği ve bir video denetim grubu arasında yeni yazılmış GRE maddeleri üzerinde rastgele dağıtır; toplulaştırılmış YZ öğretmenliğinin insan öğretmenliğine istatistiksel olarak eşdeğer (p=.015) ve denetim grubunun 5,5–6,9 yüzde puan üzerinde olduğunu bulur. 2.028 uzman ikili karşılaştırmasından kurulu öğretim kalitesi liderlik tabloları, öğrencilerin ne kadar öğrendiğinden çok ders planlarını ve konuşma davranışını sıralar (Northcutt vd. (2026)).
  • Testleri denetlemek artık kendi başına bir araştırma katkısıdır. Üç 2026 yapıtı test çalışmasını liderlik tablosu birleştirmesinin ötesine taşır. EduFair-Bench, simüle edilmiş bir öğrenciyi sabit tutup demografik nitelikleri değiştirerek bir öğretmenlik testini, dönüş düzeyinde pedagojik ölçütlerle bir adillik denetimine dönüştürür (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics). GeoVAD-Bench, 600 geometri problemi üzerinde nihai doğruluk yerine ara görsel yapıları — algı, yardımcı öge kalitesi, kullanım — teşhis eder (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving). Altı fizik testinin uzmanlar tarafından yeniden puanlanması, bu tür puanların taşıdığı hatayı nicelendirdi: denetlenen retlerin yüzde 57,20’si madde kusuru, yüzde 38,00’i puanlayıcı hatası ve yalnızca yüzde 4,80’i gerçek model başarısızlığıdır (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Birlikte, bir test puanının her zaman kendi denetlenmiş hata bütçesiyle birlikte okunması gerektiğini savunurlar; bu, Değerlendirme Geçerliliği’nin sınıf araçlarından beklediği aynı disiplindir.
  • Yapı paradigması olarak ayrıştırılmış açıklama ve soru üretimi. Testlerin çoğu her madde veya görsel için göreve özgü soru–yanıt çiftleri kurar; bu da yeni görevlere genişletmeyi pahalı kılar, verinin görevler arasında yeniden kullanılmasını zorlaştırır ve soru biçimi ile karmaşıklığı üzerinde sınırlı denetim bırakır. MUSE sırayı tersine çevirir: her sanat eserini bir kez, görsel ve anlamsal içeriğinin yeniden kullanılabilir yapılandırılmış bir gösterimine açıklar, sonra önceden tanımlı üretim kurallarından 12 görevi örneklendirir; böylece tek bir görsel, zorluğun ve biçimin yan ürün değil açık tasarım değişkenleri olarak ele alındığı çok görüşlü bir değerlendirme örneği verir (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education). Tasarım lehine ikinci bir argüman da ilişki kanıtıdır: 12 görev ilişkili ama yedek olmayan yetenekleri ölçer (Yapboz Bulmaca çoğu diğeriyle zayıf ilişki kurar, ρ = 0,25 ile −0,10 arası) ve altı dış test üzerinde genel çok kipli puanlar sanatsal eğitim görsellerine düzgün aktarılmaz (BLINK Yapboz ile MUSE Yapboz ρ = −0,20); bu, tek bir toplulaştırılmış puanı eğitim açısından ilgili yeteneğin vekili olarak okumanın yapı kapsamı karşıtı argümanıdır (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).
  • Çok kipli çıktı üretimi, testlerin en çok atladığı eksendir. Chen vd. (2026), ortaokuldan üniversiteye kadar 15.246 fizik sorusunu ve 19.850 görseli puanlar; diyagram düzenleme alt kümesi de dâhil olmak üzere yapılandırılmış fizik diyagramları sentezlemek veya düzenlemek, yanıt vermekten daha zor çıktı ve önde gelen modeller yüzde 70 katı ustalık sınırının altında kaldı.
  • K-12 fen kapsamı ve doyum sorunu. Ortaokul ve lise fen dersleri için NGSS-uyumlu bir test (1.078 + 1.150 sentetik madde, üç hakemce doğrulanmış), dokuz açık ağırlıklı modelin tek seferde doğrulukta yüzde 90’ın üzerinde olduğunu bulurken, klasik madde istatistikleri yüksek zorluk değerleri ve düşük ayırt edicilik gösterdi; model boyutu performansı yordamadı ve yazarlar testin çok mu kolay olduğunu soruyor (A Benchmark for LLM's Understanding of Middle School and High School Science Topics). Bir testin kendi madde istatistiklerinin liderlik tablosuyla birlikte okunması lehine, alana özgü durum budur.
  • Başlıca doğruluğu denetleyen olarak önemsiz bir taban çizgisi ve IRT zemin gerçeği. Worden vd. (2026), soru metni ve gerçek öğrenci yanıtları korunarak 1.722.169 ASSISTments etkileşiminden FoundationalASSIST’i kurar, bilgi izleme görevini yüzde 51,3 “her zaman doğru” taban çizgisine karşı puanlar ve model yetkinliğini aynı veri üzerine oturtulmuş iki parametreli IRT tahminlerine göre okur. Dört öncü model önemsiz taban çizgisini yaklaşık beş puanla aşar (en iyi yüzde 56,2), madde ayırt ediciliğini yargılamada şansın altına düşer ve — bu amaç için kurulmuş bir testin görebildiği başarısızlık — doğru yanıtlarda yüzde 85,4 oranında doğruluğu, yanlış olanlarda ise yalnızca yüzde 12,6 oranında öngörür; böylece görünürdeki becerileri iyimserlik yanlılığıdır.
  • Puanlayıcının yapılandırması da bir değişkendir. Habibullah vd. (2026), çift puanlanmış 570 öğrencili bir sınav üzerinde 171 puanlama yapılandırmasını tarar; kısa bir “katı puanlayıcı” ön sözü 17 açık ağırlıklı modelden 14’ünü puanlanan bant dışına ittiğini bulur, sonra bağımsız 1.038 öğrencili bir sınavda 162 yapılandırmayla tekrarlar ve sonuçların kırılganlığı yönelimi olmadan yeniden üretildiğini gösterir. En iyi yapılandırma (insan puanlayıcıların birbirine karşı elde ettiği 2,61/35’in altında kalan MAE 1,64/35) bu nedenle LLM puanlamanın işe yaradığının kanıtı değildir — yine de birleştirilmiş insan etiketleri üzerinde eğitilmiş tek bir LoRA adaptörü beş küçük modeli insan düzeyine getirirken persona duyarlılığını neredeyse sildi.
  • Yetenek iddiasını atfedilebilir kılmak için derlemi kısıtlamak. Li vd. (2026), FineWeb-Edu’yu 88B belirteçlik ABD K–5 materyaline süzer ve baştan 5B’lik bir modeli eğitir, ardından ek yeri puanlarla değil davranışsal sorgulamayla denetler — K–5 ötesi parçalarda sıfıra yakın tutunma, K–5 ötesi Jeopardy maddelerinde çökme ve pass@1024’te bile Sekizinci Sınıf MathCAMPS problemlerinin yarısından azının çözülmesi. Önceki maruziyet bilindiği için ölçekleme, sonra eğitim veya bağlam içi örneklerden sonra ortaya çıkan bir yetenek müdahaleye atfedilebilir; yazarlar ayrıca sınırın insan biçiminde olmadığını bildirir, çünkü model bazen önkoşulunda başarısız olurken bağımlı bir beceride taban çizgisini aşar.
  • Puanlama kuralı aletin bir parçasıdır. Srivastava (2026), yalnızca ipucu destekli satırları nasıl puanladıkları açısından farklılaşan dört bilgi izleme güncelleme kuralını aynı ASSISTments 2012–13 olay dizileri üzerinde çalıştırır ve karşılaştırmaları, onaylayıcı yarısı öğrencilerin kayıt dosyası bulunana kadar gizleyen bir ön kayıt duvarının arkasında önceden kaydeder. Herhangi bir tamamlamaya kredi vermek, bir beceri–zorluk sabitini ancak zar zor geçer (985.813 puanlanan olay üzerinde toplanmış AUC 0,604’e karşı 0,595) ve destekli satırları önce başarısız ilk denemeler olarak okuyan bir kuralın 72,8’ine karşı (0,658) öğrenci–beceri çiftlerinin yüzde 93,9’unu ustalaşmış ilan eder — genel ders, bir ustalaşma etiketinin günlüğe değil kanıt kuralına göre tanımlandığıdır.
  • Model yeteneğini yalnızca doğruluk değil, kalibre edilmiş bir düzey olarak bildirin. Min vd. (2026), 624 uzman açıklamalı maddeyi 2.050 öğrenen yanıtını kullanarak adlandırılmış yeterlilik düzeylerine eşler ve öncü modellerin kalibre edilmiş tavanı aştığını bulur — bir yüzdenin gizlediği bir sınır.
  • Bir puanlama kuralı, eğittiği model tarafından oynanabilir. Tek en iyi kararın tekrarlanmasıyla en üst düzeye çıkarılan bir uyarlanabilirlik ölçütü, test tasarımının argmax’ı yayımlaması, uyarlamayı bir fark olarak puanlaması ve rastgele üzeri taban çizgileri bildirmesi gerektiğini gösterir (Domínguez Figaredo & Fernández De la Cruz, 2026)).

Bağlı kavramlar

Bağlı makaleler

Bağlı SSS

Üst veri

Teknolojiler ve tekniklerÜretici YZ, Büyük Dil Modelleri (LLM)
Değerlendirme ve ölçmeDeğerlendirme
Araştırma yöntemleri ve değerlendirmeAIEd Değerlendirmesi, Karşılaştırma testi (Benchmark)
Sayfa türüEvaluation
SourceHistoryEditChat

Bu sayfayı göm

Bu sayfayı bir öğrenme yönetim sistemine veya başka bir web sitesine gömmek için aşağıdaki kodu kopyalayın. Gömülü sürüm yalnızca sayfa içeriğini gösterir — site başlığını, gezintiyi ve alt bilgiyi gizler.