AIEd Bilgi TabanıAIEd KB
Bu sayfada

Bu sayfayı İngilizce okuyun

Kavramlar

Değerlendirme Geçerliliği

Oluşturuldu 2026-10-14

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Değerlendirme geçerliliği — değerlendirmelerin, ölçtüğünü iddia ettiği şeyi ölçüp ölçmediği. Eğitimde Yapay Zeka, temel geçerlilik soruları gündeme getirir: YZ tarafından notlandırılan değerlendirmeler, öğrenci öğrenmesini mi yoksa YZ istek metni becerisini mi değerlendirir? YZ kullanımı, geleneksel değerlendirme varsayımlarını geçersiz kılar mı?

Düşünülmesi Gerekenler

  • Geçerlilik, bir değerlendirmenin iddia ettiği şeyi ölçüp ölçmediğini sorar. Okumaya başlamadan önce, bir öğrencinin YZ desteğiyle hazırlandığından şüphelendiğiniz cilalanmış bir kompozisyon göndermiş olduğunu görseniz, daha büyük sorunun kopya çekmek mi yoksa görevin ölçtüğünü düşündüğünüz şeyi artık ölçmemesi mi olduğunu düşünür müydünüz?
  • Bu sayfa keskin bir soru ortaya koyuyor: öğrenciler YZ kullandığında, puan öğrenci bilgisini mi yoksa YZ istek metni becerisini mi yansıtır? Puanın artık size öğrenenden çok aracı anlattığı, tasarladığınız veya çözdüğünüz bir değerlendirme düşünebilir misiniz?
  • Önemli bir bulgu, aynı öğrenen girdisinin, hangi altta yatan LLM kullanıldığına bağlı olarak anlamsal olarak farklı yanıtlar alabileceğidir — güvenilirliği ve adilliği tehdit eden "yapıyla ilgisiz varyans" ortaya çıkarır. İki öğrenci, arkasındaki model yüzünden tamamen farklı YZ desteği alırsa, ortaya çıkan karşılaştırma ne kadar adildir?
  • Sayfa, bir LLM iyi puan aldığında bile insan puan yorumlarının aktarılmasının yanıtların gizli yapısında benzerlik gerektirdiğini; LLM’lerin ise bu noktada insanlardan saptığını savunuyor. Bu durum, insanlar için tasarlanmış bir sınavı "geçen" bir YZ’ye güvenmeye dair ne öneriyor?
  • YZ kullanımını tespit etmeye çalışmak yerine, bilgi tabanı değerlendirmelerin YZ becerisine sahip öğrenciler için geçerli kalacak biçimde yeniden tasarlanmasını savunuyor. Görevi yeniden tasarlamak, neden YZ’nin kullanılıp kullanılmadığını denetlemekten daha geçerliliği koruyan bir strateji olabilir?
  • YZ artık sınav adayı, sınav hazırlayıcı, değerlendirici ve analist olarak hizmet veriyor — yorum zincirini opaklaştırıyor. Bir değerlendirmedeki her rol YZ tarafından doldurulduğunda, bir değerlendirmenin tam ortasındaki insan öğrenen için "geçerli" olduğunu söylemek ne anlama gelir?

Giriş

Geçerlilik sorunları

  • Yapı geçerliliği: Öğrenciler değerlendirmelerde YZ kullandığında, puan öğrenci bilgisini mi yoksa YZ yeteneğini mi yansıtır? Performans mı öğrenme mi araştırmaları bunu doğrudan ele alır.

  • Konuşma tabanlı değerlendirmede LLM’ler arası yapıyla ilgisiz varyans: Hao (2026), tek bir konuşma dönüşü için bile Büyük Dil Modelleri (LLM) tarafından üretilen yanıtların anlamsal içeriğinin modeller ve konuşma bağlamı koşulları arasında değiştiğini göstermektedir. Model içi benzerlik tutarlı biçimde modeller arası benzerliği aşar (0,715–0,795’e karşı 0,443–0,604) ve sohbet geçmişi eklenmesi yanıt içeriğini anlamlı biçimde değiştirir (ortalama çapraz-geçmiş benzerliği ~0,40–0,45). Aynı öğrenen girdisi, altta yatan modele bağlı olarak anlamsal olarak farklı yanıtlar alabildiğinden, istek metni ve bağlam tek başına yanıt tutarlılığını koruyamaz — geçerliliği, güvenilirliği ve adilliği tehdit eden potansiyel bir yapıyla ilgisiz varyans ortaya çıkarır. LLM’ler evrildikçe tutarlı değerlendirme koşullarının sürdürülmesi bu nedenle yalnızca bir İstek Metni Mühendisliği meselesi değil, altyapısal bir zorluktur (sembolik kurallar, yanıt şablonları, doğrulama katmanları).

  • Mevcut olan ancak puanlayana hiç ulaşmayan kanıt: Abreu, Stari ve Martí (2026), herhangi bir muhakemeden önce gelen bir yapıyla ilgisiz tehdidi adlandırır: deneysel fizik laboratuvar raporlarının YZ incelemesinde, bir denklem, grafik, tablo veya birim bir raporda doğru biçimde yer almış olmasına rağmen modelin çalıştığı işlenmiş içerikten alınamayabilir; değişen bir işaret, değer veya birim fiziksel yorumu değiştirdiğinden, öğretim görevlisiyle bir anlaşmazlık mutlaka bir muhakeme hatasını göstermez. Onların çözümü prosedüreldir — fotoğraflanan taramalar yerine yüksek çözünürlüklü PDF’ler, bir denklem düzenleyicide yazılmış denklemler, figürler içinde okunabilir eksenler ve birimler ve her puan için somut bir atıf gerektiren talimatlar — çünkü belge kalitesi, ortaya çıkan puanın desteklediği her türlü geçerlilik iddiasının tavanını belirler.

  • İnsanlar ve LLM’ler arasında gizli yapı geçerliliği: Strugatski vd. (2026), daha derin bir geçerlilik koşulu ekler: bir LLM iyi puan aldığında bile, insan puan yorumlarının aktarılması yanıtların gizli yapısında benzerlik gerektirir. Altı Çok Kipli YZ LLM’yi insan kohortlarıyla kimya ve nicel muhakeme enstrümanları üzerinde karşılaştırdıklarında, LLM–insan faktör yapılarının tutarlı biçimde saptığını (LLM–insan uygunluğu insan–insan taban çizgisinin altında) bulurlar; böylece insan normlarına dayalı bir sınavdaki performans, maddelerin ölçülmek üzere tasarlandığı yapılar üzerindeki LLM yetenekleri hakkında zayıf kanıttır.

  • Sonuçsal geçerlilik: YZ aracılı değerlendirmelerin adil sonuçları var mı? Dil yanlılığı çalışmaları, YZ puanlamanın ana dili olmayan konuşmacıları dezavantajlı duruma düşürebileceğini göstermektedir.

  • Dil sınavlarında hareket eden hedef. TOEFL iBT, IELTS, PTE Academic ve Duolingo English Test gibi yüksek riskli sınavlar, öğrenciler akademik yaşamdaki bu görevler için artık GenAI kullanırken hâlâ yardımsız, süreli okuma ve yazma talep etmektedir; dolayısıyla yardımsız puanlardan gerçek akademik performansa uzanan dışlama çıkarımı en çok etkilenen adımdır (Gonulal (2026)).

  • Kural kapsamının kendisi bir geçerlilik niteliğidir: Wright (2026), 2023’ten bu yana yükseköğretim çevresinde yazılmış yasakların, değerlendirilen içeriğin üretimini bir biçim dönüştürmesinden ayıracak teknik kesinliğe sahip olmadan "üretken YZ"yi yasakladığını savunur; çünkü optik karakter tanıma, el yazısı metin tanıma ve konuşmadan metne dönüştürme, yeni içerik üretmekten ziyade halihazırda mevcut olanı çıkaran tanıma teknolojileridir. Bir kural platform kimliğine değil işleve bağlandığında, tanımsal bir kaza yüzünden aşırı kapsamlıdır: çok işlevli bir aracın yalnızca döküm yapan kullanımını yakalar ve kuralın önlenmesi tasarlandığı şeyi yapmamış bir öğrenciyi yaptırıma bağlar; bu da, erişilebilirlik için bu araçlara bel bağlayan Öğrenenler üzerinde en ağır biçimde düşer — değerlendirmenin, ölçtüğünü iddia ettiği yapı hakkında destekleyemediği bir çıkarımdır. Wright, sınır durumlar için işlev temelli taslaklar artı dört operasyonel ölçüt (doğruluk, artırma yapmama, izlenebilirlik, tasdik) önermekte; dedektör çıktısına ve stil sezgilerine duyulan güveni, kuralın kendi kanıt dayanağının ne kadar zayıf olduğunun kanıtı olarak ele almaktadır.

  • Etken tamamlama, insan üretimi varsayımını ortadan kaldırır: Hadjisolomou & El-Haddad (2026), geçerlilik analizini üretken yardımdan etken tamamlama seviyesine genişletir: özerk YZ ajanları artık bir LMS’e giriş yapabilir, materyalleri okuyabilir ve gözetimsiz asenkron çalışmaları uçtan uca tamamlayabilir (canlı bir kursta gösterilmiştir — 5 dakikadan kısa sürede 10/10 puan alan bir sınav ve uydurulmuş ancak inandırıcı bir tartışma panosu yansıması). Kane’ın argüman temelli çıkarım zincirinin temeline bir "insan üretimi varsayımı" yerleştirdiklerinde, ajan tamamlamasının genelleme, dışa vurum ve karar çıkarımlarının dayandığı puanlama çıkarımının arkasındaki desteği sessizce ortadan kaldırdığını gösterirler — bu nedenle dürüstçe kazanılmış olanlar dahil, gözetimsiz her asenkron puan, yazarlığın doğrulanamaz olması nedeniyle yorumsal desteğini kaybeder. Onların belirleyici hamlesi, bunu bir geçerlilik hatası olarak sınıflandırmasıdır, bütünlük hatası değil: bir kurum suiistimali cezalandırabilir ve yine de rapor ettiği puanlar için gerekçeye sahip olmayabilir. Tespit yapısal olarak yetersizdir (sınıflandırıcılar güvenilmez ve yanlıdır; LMS izleme bir öğrencinin göreceği tıklamaları görür); bu nedenle çözüm, doğrulanmış insan varlığı için değerlendirme yeniden tasarımıdır (kısa bir sözlü bileşen, süreci görünür taslaklar, derse özgü atıflar) — gözetim zorunluluğu yerine eşitliği koruyan bir seçenek menüsüyle.

  • Üretken YZ destekli çalışmanın insan notlandırmasındaki yapıyla ilgisiz varyans: Luo & Dawson (2026), Üretken YZ destekli çalışmanın insan notlandırmasının yapıyla ilgisiz varyansla dolu olduğunun doğrudan ampirik bir gösterimini sunar. 33 üniversite öğretmeniyle senaryo temelli görüşmelerde, not verme kararları; kişiye yönelik (öğrenci dürüstlüğü, çalışkanlığı), yeteneğe yönelik (YZ’den bağımsızlık, Üretken YZ becerisi, disiplin hakimiyeti), ilişkiye yönelik (öğrencilerle kurulan güven) ve adalete yönelik (adillik, iyilikseverlik) değerler tarafından yönlendirilmişti — bunların tümü, değerlendirilen çıktılarla ilgisiz faktörlere göre notları değiştirebilir. Üretken YZ destekli çalışmayı düşük notlamanın gerekçeli olduğunu, yalnızca ve ancak YZ kullanımı öğrencilerin değerlendirilen çıktıları göstermesini engellemişse; aksi halde değer temelli notlandırmanın geçerliliği tehdit ettiğini savunurlar. Çalışma, geçerlilik çerçevesini gerçek öğretmen uygulamasına dayandırır ve "çift yönlü şeffaflık" çağrısında bulunur — öğrencilerin yalnızca kullanımı beyan etmesi değil, öğretmenlerin de Üretken YZ kullanımının notları nasıl etkileyeceğini açıklaması.

  • Ölçekte varyasyon, yapıya eşdeğer varyant üretimi gerektirir: VARIA (Lee 2026), YZ Tümleşik Özgün Değerlendirme (AIAA)’nin "ölçekte varyasyon" öncülünü — gözetimli proctoring’i öğrenci başına görev varyasyonuyla değiştirmeyi — ampirik, yanılabilir bir sınayışa tabi tutar. Her sınav adayı benzersiz-ama-eşdeğer bir performans görevi aldığından, bütünlük güvencesi, LLM’lerin eşzamanlı olarak yüzeyce farklı, yapıya eşdeğer, rubriğe uygulanabilir ve zorluk açısından eşleştirilmiş varyantlar üretmesine koşulludur. 600 varyant üzerinde dört istek metni stratejisinde üç öncü model ailesini Kıyaslayan VARIA, öncü üreteçlerin ortak bütünlük ölçütlerini yalnızca sınırda karşıladığını (ortak puan 0,81–0,88), öncü olmayan referansların ise çöktüğünü (0,50–0,55) bulur; dört özellikte de baskın olan tek bir istek metni stratejisi yoktur — bu nedenle çeşitlilik eşiği agresif biçimde belirlendiğinde "ölçekte varyasyon yalnızca istek metniyle çözülemez" ve kurumlar kendi model-istek metni çiftini doğrulamalıdır.

  • İnsan-devriginde YZ puanlamada düşük not verme yanlılığı bir geçerlilik özelliğidir, hata değil: Curi vd. (2026), ölçekli bir ulusal yazma değerlendirmesinde, nihai bir karar olarak sorunlu olsa da bir LLM puanlayıcının sistematik muhafazakâr (düşük not verme) yanlılığının, güvenli devretmeyi mümkün kılan şeyin tam olarak bu olduğunu gösterir: YZ tarafından "geçer" olarak işaretlenen yanıtlar güvenle kabul edilebilir, YZ tarafından "başarısız" olarak işaretlenen yanıtlar (vakaların %15,3–16,5’i) uzman incelemesine yönlendirilir — YZ hatasının geçerlilik tehdidini nihai sonucun dışında tutar. Onların IRT-ve-Bookmark işlem hattı, ham puan uyumunu tek geçerlilik sinyali olarak ele almaktan ziyade YZ puanlamasının yeterlilik düzeyi etkisini okunabilir kılar.

  • YZ kaynaklı not şişkinliği bir geçerlilik tehdidi olarak: Chirikov (2026), not şişkinliğinin yeni, teknoloji kaynaklı bir mekanizmasını notlamanın ötesinde — notlanmış çalışmanın üretiminde — işleyen bir mekanizma olarak tanımlar. 319 kursta 500.000’den fazla notu (2018–2025) kapsayan bir farklar-içinde-farklar çalışmasında, daha fazla YZ maruziyeti olan görevler (yazma, kodlama) içeren kurslarda ChatGPT’nin yayımlanmasından sonra A notlarının payının 13 puan artarak yükseldiğini ve not dağılımında sıkışma oluştuğunu gördü. Üçlü farklar analizi, etkinin ödev ağırlıklı kurslarda yoğunlaştığını göstermektedir — bu, YZ görev yer değiştirmesinin (YZ’nin öğretim görevlileri gözlemlemeden önce notlu görevleri yerine getirmesi) beceride karşılık gelen bir artış olmadan notları şişirdiğine dair kanıttır. Bu durum, kurslar arası notların karşılaştırılabilirliğini azaltır ve yalnızca not dağılımlarından tespit edilmesi zor biçimlerde transkriptlerin bilgi değerini aşındırır.

  • Program düzeyinde geçme/başarısızlık duyarlılığı ve bunu belirleyen işaretleme ölçütleri: Ivory vd. (2026), üç yıllık bir psikoloji lisans programındaki her kurs çalışması değerlendirmesi için (40 değerlendirme, 16 tür) ChatGPT çıktısını, işaretleyicilerin ilk okumada fiilen aldığı ikili geç/başarısız kararıyla değerlendirdi: 40’tan 36’sı geçti. İki geçerlilik çıkarımı izler. Birincisi, işleyen değişken geçme sınırıdır, tespit değil — yapısal akıcılığı ve doğru analiz seçimini ödüllendirirken hatalı değerleri hoş gören işaretleme, uydurulmuş istatistiklerin ve uydurma atıfların geçmeyi geçmesine izin verir; böylece değerlendirme, birinin aldatılmış olmasından ziyade nasıl işaretlendiği nedeniyle araç çıktısını öğrenci anlayışı olarak sertifikalandırır. İkincisi, çoktan seçmeli maddeler kendi cevaplarını sızdırdı: ChatGPT, öğrencilere gösterilmeyen şekil veya çıktı tablosu olmadan istatistik sorularını doğru yanıtladı, çünkü madde gövdesi ve seçenekler cevabı ima ediyordu; bu da cevap seçeneği tasarımını maddenin bir özelliği, YZ’nin bir özelliği olmaktan çıkarır.

  • Doğruluk ile uyum ayrı geçerlilik sinyalleri olarak: Falahat, Das, Bhaumik & Thambi (2026), 21 maddelik bir eczacılık sınavını ChatGPT-5 ile notladı ve orta düzeyde yüzde doğruluğun sıklıkla düşük uygunluk-korelasyon katsayılarıyla bir arada bulunduğunu gördü — puanlama doğruluğu ile uyum arasında, ham doğruluk kabul edilebilir görünse bile YZ’nin not verme yerine geçilir güvenilirliğini sınırlayan metodolojik bir ayrım. Uyum nesnel maddelerde güçlüydü (CCC 0,935–1,000), ancak kısa cevaplıda sıfıra yakın ve kompozisyonda mütevazıydı (0,341–0,854); rubrik sağlaması boşluğu tutarlı biçimde kapatmadı.

  • YZ tarafından üretilen maddelerin geçerliliği: YZ Tarafından Üretilen Sınavların Değerlendirilmesi, Bayes IRT ile doğrulanan YZ tarafından üretilen soruların, uzman kaleme alınmış standart sınav maddeleriyle eşdeğer zorluk ve ayırt ediciliğe (güvenilirlik 0,79’a karşı 0,72) ulaştığını göstermektedir — psikometrik değerlendirmeyle desteklendiğinde kursa özel YZ tarafından üretilen değerlendirmelerin geçerliliğini desteklemektedir.

  • Özgün değerlendirme: Özgün Değerlendirme ve YZ Değerlendirme Ölçeği, geçerliliği koruyan değerlendirme yeniden tasarımları önermektedir.

  • Güven ve kalibrasyon: Güven duyarlı sistemler, belirsiz değerlendirmeleri işaretleyerek geçerliliği iyileştirir.

  • Gövdeleştirilmiş ve çok modlu kanıt: yalnızca konuşmaya dayalı değerlendirme, sözel akıcılığı kavramsal bilgi olarak yanlış anlayabilir; Morphew vd., LLM konuşma analiziyle eşleştirilen bilgisayarla görü jest analizinin, jestle ifade edilen anlayışı yalnızca sözcüklerden değil yakalayarak yapı geçerliliğini ve Eşitlik eşitliğini artırdığını göstermektedir — anlayışı sözel olmayan biçimlerde ifade eden öğrenenlere karşı yanlılığı azaltır.

  • Bir model görevi çözebildiğinde ödev yetkinliği sertifikalamayı bırakır: Mikhasenko vd. (2026), Bochum parçacık-fizik kursunda ödevin yetkinlik ölçütü olarak somut bir geçersizleştirilmesini belgeler: bir üretken model doğru bir çözüm üretebildiğinde, gönderilen bir türetme artık öğrencinin problemi bağımsız olarak çözebildiğini kanıtlamaz. Onların yanıtı iki işlevi ayırır — araştırma biçimli, YZ’ye izin veren ödev keşifsel, bonus taşıyan çalışma olarak korunur; araçsuz bir yazılı sınav nihai notun tek belirleyicisi yapılır — tespit rejimi yerine geçerlilik odaklı bir iş bölümü.

  • Ölçekte YZ puanlama için karar odaklı geçerlilik: Curi vd. (2026), Acredita EB ulusal yazma değerlendirmesinde geçerliliğin karar odaklı bir görünümünü örneklendirir: yalnızca YZ puanlarının insanlarla uyumlu olup olmadığını değil, YZ hatalarının bir sertifika kararını değiştirip değiştiremeyeceğini sorarlar. Otomatik IRT/Bookmark kesim puanları, operasyonel kesim puanlarını yakından yeniden üretti ve sistematik YZ düşük notlaması, başarısız YZ sonuçlarının insan incelemesine yönlendirilmesiyle nötrleştirildi — dikkate değer biçimde, kendisi tartışmalı olan bir referans standardına karşı, çünkü aynı 50 metni puanlayan on uzman değerlendirici hiçbir rubrik maddesinde oy birliğine ulaşamadı.

  • YZ’nin değerlendirici olarak kullanılmasına ilişkin öğrenci kaynaklı geçerlilik kaygıları: AlGhamdi (2026), geçerlilik sorusuna öğrenenin sesini ekler: el yazısıyla yazma görevi ChatGPT tarafından puanlanan 13 bilişim öğrencisi, bir YZ puanlayıcının niyeti, çabayı ve kurumsal notlandırma normlarını geçerli biçimde yorumlayıp yorumlayamayacağını sorguladı — biri keskin biçimde soruyor: "Sınavları ChatGPT kontrol ediyorsa, neden üniversiteye gidiyoruz?"

  • İzin tek başına görevi bozmaz ve kullanım oranları yanlış geçerlilik sinyalidir: Zou vd. (2026), değerlendirmeleri açıkça üretken YZ’ye izin veren 85 öğretmen adayını inceledi ve değerlendirmeye katılımın yüksek olduğunu, öğrencilerin kullanıp kullanmamasından istatistiksel olarak etkilenmediğini buldu (ortalama 4,21/5, SD 0,46; Mann–Whitney U = 781,5, r = 0,07, p = 0,536). Katılımcıların %62,4’ü (53 kişi) üretken YZ’yi hiç kullanmaktan çekinirken, kullananların kullanımı büyük ölçüde düzeltme okumasıyla (%43,8) ve açıklık kontrolleriyle (%34,4) sınırlı kaldığından, benimseme oranı, değerlendirmenin öğrenmeye ilişkin bir çıkarımı hâlâ hak edip etmediği konusunda az bilgi taşır — ve haksız intihal suçlaması korkusundan kaynaklanan kullanmama (kullanmayanların %41,5’i) de geçerliliğin kanıtı değildir.

  • Okul düzeyli bir testin sistem kanıtı olarak okunmasında örnekleme çerçevesi geçerliliği: Restrepo Morales vd. (2026), puanlardan bir sistem hakkındaki iddialara çıkarıma nicel bir muamele verir. 171 Salvador okulunda 1.198 gönüllü öğrenci üzerinde PISA tabanlı Test for Schools uygulaması, Almanya ve İsveç’le karşılaştırılabilir sonuçlar olarak duyuruldu; ancak enstrüman bir okul için tahminler üretir ve ulusal örnekleme çerçevesi altında, yanıt oranı standartları, dışlama sınırları ve ağırlıklandırma ile uygulanmaz — bu nedenle bir okul düzeyli tahmin ile bir ülke ortalaması arasındaki karşılaştırma, en az üç bildirilmemiş belirsizlik kaynağı taşır (okul düzeyli örnekleme hatası, ülke ortalaması örnekleme hatası ve ölçek eşitlemesinin bağlantı hatası). Öğrenme iddiasını test etmek yerine yazarlar onu sınırlandırır: Salvador matematik dağılımının üst %5,5’i sıfır öğrenme altında Alman ortalamasıyla eşleştiğinden ve gönüllü katılımın başarı testini yukarı doğru başarı yanlılığına yol açması anlaşıldığından, yayımlanan kanıt gerçek bir etkiyi seçilmiş bir örneklemden ayırt edemez. Bu, karşılaştırmanın geçerlilik çıkarımının hatasıdır, öğrencilerin ya da enstrümanın hatası değil.

Kavramsal bir önerge, bu sayfadaki her YZ aracılı değerlendirmeye uygulanan bir geçerlilik sınırı yükseltir: El Khoury ve Ma (2026), hızın geçerlilik olmadığını; YZ tarafından üretilen istek metinlerinin, örneklerin ve döküm temelli raporların yine de doğruluk, kültürel duyarlılık, Erişilebilirlik, yorumlanabilirlik ve kurs çıktılarıyla uyum açısından test edilmesi gerektiğini savunur. Kanıt sayılan şeyi de genişletirler: diyalogun değerlendirilen eser haline geldiği yerde, döküm, yargının, empatinin, açıklığın ve paylaşılan karar alma sürecinin bağlam içinde açıldığı bir süreç kaydıdır ve tasarım sorusu, bu kanıtın kendisinden çıkarılan çıkarımı destekleyip desteklemediği olur — otomatik puanlamanın yüzleştiği aynı soru, teknolojik yenilikle değil, görev, geri bildirim ve öğrenme kanıtı arasındaki uyumla yanıtlanır.

  • YZ tarafından atanan madde üst verisi psikometrik kanıt değildir. Dağıtılmış 311 çoktan seçmeli maddenin on haftalık bir veri bilimi çalışmasında, LLM zorluk derecelendirmeleri modelin kendi Bloom etiketlerini izledi (rho = 0,90) ancak deneysel madde zorluğunu izlemedi (rho = 0,06); bu nedenle madde zorluğu, üreten modelin etiketlerinden ziyade yanıt verilerinden belirlenmelidir (An & Wang, 2026).

  • Öğrencilerin müfredat uyumu hükümleri zorluğu izler, içeriği değil. Vogt vd. (2026), öğrencilerden notlandırılmış 60 maddelik bir sınavdaki her maddenin kurs müfredatıyla uyumlu olup olmadığını derecelendirmelerini istedi ve derecelendirmelerin madde zorluğuyla ρ = 0,762 oranında ilişkili olduğunu buldu (kolay maddeler uyumlu, zor maddeler uyumsuz bulundu, ρ = −0,762, p < 0,001), derecelendirmeler ise madde kaynağına göre farklılık göstermedi. Bir enstrüman öğrencilerden bir değerlendirmenin müfredata uygunluğu hakkında hüküm vermelerini istediğinde, ortaya çıkan puan kısmen bir zorluk derecelendirmesidir ve uyumun bağımsız kanıtı olarak okunamaz.

  • Değerlendirme üçgenini yeniden hizalayın, bir köşeyi yamalamayın. Koretsky vd. (2026), Üretken YZ sorununu değerlendirme üçgeni çerçevesinden ele alır — biliş (ne değerlendirilir), gözlem (öğrenme kanıtı nasıl ortaya çıkarılır) ve yorum (çıkarılan çıkarım) — ve üç köşenin birlikte yeniden hizalanması gerektiğini savunur, çünkü yorumu onarmadan görevleri yeniden tasarlamak çıkarımı desteksiz bırakır. Onların kapsam derlemesi ayrıca, YZ tarafından üretilen değerlendirme materyallerinin sadakatinin kendi başına bir geçerlilik niteliği olduğunu göstermekte; içerik, dilsel, bilişsel, davranışsal, yapısal ve pedagojik boyutları kataloglamakta ve bu tür görevlerin değerlendirmeye temel olmasından önce insan-devriginde değerlendirme şart koşmaktadır.

Tespitten çok yeniden tasarım

Bilgi tabanı, değerlendirme geçerliliğinin sürdürülmesinin YZ kullanımını tespit etmekten ziyade değerlendirmeleri YZ becerisine sahip öğrenciler için yeniden tasarlamayı gerektirdiğini savunur. Araştırma ölçümünde de paralel bir geçerlilik sorunu işlemektedir: birçok eğitimde-YZ iddiası öz bildirim verisine dayanmaktadır; bu veri, enstrümanın kendisi ne kadar iyi doğrulanırsa doğrulanan, öğrenme veya yetkinlik hakkında bir çıkarımı destekleyemez. Tespit ötesi yaklaşımlar ve Değerlendirme, geçerlilik öncelikli düşüncenin temsilcisidir.

Anahtar ürünler ve nitel/nicel ayrımı. Brunnström ve Palmqvist (2026), yeniden tasarım argümanına SOLO taksonomisine dayalı somut bir önerge verir. Bir bilişsel bilim ev ödev sınavı sorusunu bir sohbet robotuyla çalışırken, Üretken YZ’nin taksonominin en düşük olduğu yerde en güçlü olduğunu bulurlar — nicel (çok yapısal) düzeyde kapsamlı, akıcı, bilgi kartı türü içerik üretirken — nitel düzey (ilişkilendirme, değerlendirme, genelleştirme) yalnızca yinelenen öğrenen kaynaklı kalibrasyon yoluyla ortaya çıkar. Bu nedenle onların önerisi yapıya göre farklılaşır: ev ödevleri, nitel anlayışın kanıtlarını öne çıkarmalıdır; nicel, hatırlamaya dayalı bilgi ise Üretken YZ’nin erişilemediği sınıf içinde daha iyi değerlendirilir. Gösterim ayrıca, cilalanmış bir gönderilmiş eserin her iki yönde de zayıf kanıt olduğunu; meşru YZ destekli öğrenmenin ne kadar talepkâr olabileceğini geçerli yeniden tasarımın hesaba katması gerektiğini vurgular (Toplayıcı Değerlendirme, Akademik Dürüstlük).

Bir tasarım düzeyi karşılık, yeniden tasarım argümanının genellikle görmezden geldiği aynı popülasyondan gelir. Zou vd. (2026), yansıtıcı ve kişiselleştirilmiş görevlerin yaygın biçimde YZ yardımı için fazla kişisel bulunduğunu; başka bir kurstaki bilgi ağırlıklı bir değerlendirmenin ise atıflar için üretken YZ kullanımına yönelik güçlü bir niyet uyandırdığını buldu — böylece öğrencilerin YZ ile yaptığı şey, görevin kendilerinden kanıtlamalarını istediği yapıyı izledi. Geçerlilik için ders, kutlamadan ziyade kesindir: tasarım, jenerik ikame kullanımından getiriyi ortadan kaldırabilir; ancak aynı çalışma, çekilmeyi görevin bunu yaptığının kanıtı olarak okumaya karşı uyarır, çünkü kullanmamanın önemli bir kısmı görevin YZ’ye direnmesinden ziyade haksız intihal suçlaması korkusuna atfedilmiştir.

Sharma (2026), bütünlük kanıtını geçerlilik kanıtına dönüştüren bütünlük tarafında bir yeniden tasarım argümanı sunar. Eaton’un (2023) postplagiarizm çerçevesini değerlendirme tasarımına genişleterek, insan yargısının ve makine üretiminin birbirine dolaştığı çalışmalarla hizalanmamış tespit ve doğrulama temelli bütünlük modellerini savunur; bütünlüğü, Değerlendirici Yargı yoluyla — seçenekleri tartma, akademik tercihleri gerekçelendirme ve epistemik belirsizlik altında sorumluluk üstlenme yetisi — edilgen bir pedagojik uygulama olarak yeniden çerçeveler. Tasarım sonucu, bütünlüğün çıkarılmak yerine kanıtlanması gerektiğidir: özgün karar izleri, Üretken YZ katkılı iddiaların doğrulanması, sözlü savunma ve sürüm geçmişi bütünlük eserleri olarak sunulur ve Özgün Değerlendirme’ten farkın epistemik olduğunu açıkça belirtir — özgünlük bir görevin gerçek dünya uygulamasını yansıtıp yansıtmadığını sorar; bütünlük odaklı tasarım, öğrenenlerin kararları gerekçelendirip disiplin standartlarına karşı sorumluluk alıp alamayacağını sorar — böylece bütünlük, görev mimarisine gömülü değerlendirilebilir bir ölçüt haline gelir. Kendi önergesinin geçerlilik riskini örtük bırakmak yerine adlandırır: belgelendirilmiş muhakeme gerektirmek, yansıtıcı söyleme hâkim öğrenenleri ayrıcalıklı kılar ve "bir uyum rejiminin başka bir rejimle değiştirilmesi" riskini taşır, çünkü kanıt olarak yargı "mekanik olarak doğrulanabilir olmaktan ziyade ilişkisel ve duruma bağlı kalır" — bu sayfanın her YZ aracılı değerlendirme için kaydettiği aynı yorumsal güvenilirlik sorunu.

Weidlich (2026), yeniden tasarımı, bir değişikliğin hangi çıkarımı korumak için tasarlandığı sorusu olarak yeniden çerçeveler. Kane’ın argüman temelli geçerliliğinden yola çıkarak, tartışmanın tek bir baskı altında çökertmeye meyilli olduğu beş baskıyı ayırır: yapı yetersiz temsili, yapıyla ilgisiz varyans, performansın atfedilmesi, koşullu dışa vurum ve desteklenmeyen puan kullanımı. YZ kullanımı otomatik olarak bir tehdit değildir, çünkü araç kullanımı, hedeflenen yapı YZ destekli profesyonel yargı olduğunda konuya ilişkindir ve yardımsız muhakeme olduğunda hedef performansı atlar; bu nedenle yapı ile YZ koşulları birlikte belirtilmelidir. Yeniden tasarım için onun ikazı şu ki, müdahaleler bir baskıyı diğeriyle değiştirir: sözlü savunmalar atfedilmeyi güçlendirirken güvenilirliği veya erişilebilirliği azaltabilir.

Bağlantılar

Değerlendirme geçerliliği Özgün Değerlendirme, Automated Grading (otomatik notlandırma), Confidence Aware AI Assessment (güven duyarlı YZ değerlendirmesi), Biçimlendirici Değerlendirme, Akademik Dürüstlük ve RCT (geçerli çıktı ölçütlerine dayanan) ile bağlantılıdır.

YZ, geçerliliği epistemik düzeyde sorgular: Hathcoat, Slotnick & Miller (2026), LLM’ler sınav adayı, sınav hazırlayıcı, değerlendirici ve analist olarak hizmet verdiğinde yorum zincirinin opaklaştığını ve ölçüm nesnesinin tanımını yitirdiğini savunur; geçerliliği, YZ’ye hâkim "cyborg" yargı gerektiren bir şey olarak yeniden çerçevelerler; Green vd. (2026), YZ puanlarının insan değerlendiricilerle uyumlu olabileceğini (%87 kontrol listesi) gösterirken altta yatan gerekçenin, özellikle ölçüm kalitesi ve zayıf raporlarda saptığını göstermektedir.

YZ değerlendirilebilir eseri ürettiğinde. Kumar, Wongsirichot ve Nanthaamornphong (2026), geçerlilik sorununa en keskin disiplinsel vaka verir: bilişim eğitiminde YZ, notlanan eseri — kaynak kodu — üretir; böylece araç kullanımı, öğrenme ve değerlendirme tek bir etkileşimde birleşir ve gönderilen bir kod tabanı öğrenmeyi devretmeden ayırt etmez. 72 çalışma boyunca, yardımsız performansa aktarılmayan verimlilik kazanımları (21 çalışma), YZ yardımının beceriye dönüşüp dönüşmediğini belirleyen Önceki Bilgi ön bilgiyi (6 çalışma) ve kanıt tabanında fiilen bulunmayan tespit araştırmalarını (3 çalışma), nispeten iyi kanıtlanmış değerlendirme yeniden tasarımını (25 çalışma) bulurlar. Uygulama için sonuçları yapıya özgü ve düşük teknolojilidir: kurs başına en az bir yüksek riskli değerlendirmeye sözlü bir bileşen veya başka bir süreci görünür unsur ekleyin — derlemedeki tek en yüksek kaldıraçlı müdahale — ve YZ çıktısıyla kritik etkileşimi isteğe bağlı bir eğilim değil, notlanan, gözlemlenebilir bir bileşen olarak şart koşun (Akademik Dürüstlük, Değerlendirme).

Eksik bilgi altında geçerlilik

En keskin yakın zamandaki yeniden çerçeveleme, üretken YZ sorununu kanıtsal bir sorun olarak ele alır. Öğrenci bir çalışmanın nasıl üretildiğini bilir; kurum eseri ve en iyi ihtimalle sürecin kısmi izlerini gözlemler — Mohamed ve Temimi (2026)’nin eksik bilgi altında değerlendirme geçerliliği olarak resmileştirdiği bir ürün–süreç boşluğu. Bu hesapta soru, bir kuralın çiğnenip çiğnenmediği değil, değerlendirmenin öğrenci muhakemesi, çabası ve yargısının hâlâ güvenilir kanıtı üretip üretmediğidir; her kurumsal mekanizma — yasak, izleme, açıklama, yeniden tasarım — hangi öğrenci yanıtını en çekici kıldığına göre değerlendirilir. Geçerlilik merceği ayrıca yanlış bir ayrımı çözer: bütünlük ve geçerlilik aynı sorundur, farklı uçlardan görülür, çünkü suiistimal bir bulgusu, çalışmanın neyi kanıtladığına ilişkin kendisi bir geçerlilik iddiasıdır.

Öğrenci kaynaklı bir çerçeve, bir eserin tek başına çözemeyeceği çıkarım hedeflerini adlandırır. Sak (2026), YZ destekli çalışmalardan üstün yetenek potansiyeli hükümleri için atıfsal geçerlilik önergesinde bulunur: yetenekten ürüne ilişki çoktan birdir, çünkü öğrenen yetkinliği, model yeteneği, öğrenenin yönlendirmesi, insan–YZ uyumu ve bağlam, eşdeğer eserler vermek için farklı biçimde birleşir; bu nedenle ürün, arkasındaki yeteneği tanımlayamaz. Çerçeve, çıkarımın dört hedefini ayırır — bağımsız yetkinlik, entelektüsel Öğrenen Etkenliği, melez yetenek ve gelişimsel taşınım — ve bir hedefin kanıtı diğerininki olarak okunduğunda izleyen üç hatayı adlandırır: aşırı atıf, gelişimsel yanılsama ve farz edilen yetenek eşdeğerliği. Kayıt üzerindeki talebi, suiistimal literatüründen çektiği bu kanıtsal disiplini yansıtır: hükmün hangi yetenekle ilgili olduğunu adlandırın, çalışmanın nasıl üretildiğini belgeleyin (model ve sürüm, arayüz, izin verilen işlevler, yetişkin aracılığı, erişim koşulları) ve yardımlı performansı öğrenende bir değişiklik olarak okumadan önce daha sonra aktarım kanıtı gerektirin.

Teichmann (2026), prosedürel sonucu çeker: yasaklanmış kullanımın tespit edilemediği yerde, hâlâ dedektör puanları üzerine suçlama yapan bir rejim, çektiği çıkarımı garanti edemez ve bu nedenle etkisizlik olmadan adaletsizlik üretir. Adli soruyu — öğrenci YZ kullandı mı? — geçerlilik sorusuyla değiştirmesini savunur — öğrenci, görevin sertifikalamak üzere tasarlandığı yeteneği gösterdi mi? — bu da kurumsal çabayı, bağlantılı görevler üzerinde program düzeyli değerlendirmeye, sertifika noktalarında sözlü ve denetimli bileşenlere ve değerlendirmenin açık bir nesnesi olarak Değerlendirici Yargı’a kaydırır.

Aynı kanıt tabanı bölümü, dosya karşılığını sağlar ve bu, yalnızca tespit literatüründen daha rahatsız edicidir. Munoz vd. (2026), üç yıl boyunca bir bölgesel Avustralya üniversitesindeki her üretken YZ suiistimal davasını kodladı — 1.185 ayrı kanıt maddesi taşıyan 1.162 dava — ve her maddeyi alaka, güvenilirlik ve çıkarımsal güç üzerinden ispat değeri açısından derecelendirdi. En güçlü kategoriler, metnin olasılıksal sınıflandırmasına bağlı olmayanlardı (öğrenci itirafları, gözlenen yasak sınav davranışı ve bağımsız olarak doğrulanmış uydurma atıflar); oysa dedektör çıktısı herhangi bir kategoriden en zayıf derecelendirmeleri aldı: benzerlik veya Turnitin raporları çıkarımsal güçte tamamen zayıf, bağımsız dedektör çıktıları güvenilirlikte tamamen düşüktü ve 2024’teki maddelerin %8,8’inden 2025’te %0,5’e düştü. Geçerlilik hatası, enstrümental kadar prosedüreldir — işlem hattının hiçbir aşaması asgari bir kanıt eşiği belirlemedi veya soruşturmacılardan bir suçlamayı ilerletmeden önce ispat değerini tartmalarını şart koşmadı; bu nedenle kanıt kalitesi, dava sonuçlarıyla güvenilir bir ilişki göstermedi — bu da tam olarak Hukukî Sorunlar ve Riskler üzerinde kataloglanan kanıt standardı sorunudur. Kimlik bilgileri çerçevesini yalnızca karar verme noktasında değil, suçlama noktasında uygulama önergesi bir geçerlilik talebidir: bir suçlama, çalışmanın neyi kanıtladığına ilişkin bir iddiadır ve onu destekleyebilecek materyallerle garanti edilmelidir. Hadra, Cambridge ve Mesbah (2026), enstrümanın bu standardtan ne kadar uzak olduğunu gösterir: 192 metin üzerinde 0,69 (Originality) makro doğruluğa karşı 0,61 (Turnitin), insan–YZ melez yazımında neredeyse tam başarısızlık (duyarlılık 0,02 ve 0,31), metin uzunluğuyla ve bilimsel yazımda azalan doğruluk, EFL öğrenci yazımını YZ olarak yanlış sınıflandırma eğilimi — bu nedenle bir dedektör puanı, bir suiistimal bulgusunun iddia ettiği olguyu kuramaz.

İnsan notlandırma kıyaslaması ve tavanı

Üç Birleşik Krallık üniversitesinde 761 özgün kompozisyona karşı üç öncü modelin OpRaise karşılaştırması, kıyaslamayı geçerlilik argümanının parçası haline getirir. İnsan notlar, akademik yargının toplumsal olarak kabul edilen standart olduğu açık gerekçeyle temel doğruluk olarak kullanıldı; yazarlar, insan değerlendiricilerin birbiriyle yalnızca orta düzeyde anlaştığını kabul eder — bu, makul biçimde talep edilebilecek YZ–insan uyumunu sınırlar ve bir korelasyonun, bir referans noktası olmadan hazır-veya-değil olarak okunamayacağı anlamına gelir. Bu çerçeve içinde başarısızlıklar, rastgele hata olmaktan ziyade sistematik yapı olarak göründü: notlar ölçeğin ortasına doğru sıkıştı, böylece en iyi ve en kötü kompozisyonlar en çok yanlış değerlendirildi; uyum not sınırlarında en zayıftı; ve YZ notlar sözcük dağarcığı, bağlaçlar ve cümle karmaşıklığını izlerken insan notlar bunlara genel olarak duyarsızdı. Pratik ders çifte taraflıdır, çünkü aynı çalışma güvenilirliğin mükemmel olduğunu buldu — zaman içinde özdeş yeniden notlandırmalar ve modeller arasında yüksek uyum. Otomatik notlandırmanın bir geçerlilik davası bu nedenle istikrara veya ortalama uyuma dayanamaz; sistematik sapmanın yokluğunu göstermek zorundadır — bu kanıtın tam olarak bulamadığı şey budur.

Ancak çalıştırma çalıştırma istikrarı garanti değildir: özdeş gönderimler üzerinde aynı notlamanın beş gün arayla yinelenmesi Krippendorff’un alfası 0,625 verdi; varyans orta notlarda yoğunlaştı ve A ile F, yinelenen oturum sayımlarında yer almadı (Brevik vd. (2026)).

  • Model boyutu, değerlendirme geçerliliğinin bir vekili değildir. 114 notlanmış kompozisyon üzerinde dört ailenin sekiz yapılandırmasında, kesin bant uyumu %18,4 ile %54,4 arasında değişti ve parametre sayısından ziyade aileyi izledi — en büyük model GPT-OSS 120B, 1,316 bant düşük notladı ve sıcaklık çözüm olmadı (Kerwat vd. (2026)).

  • Uyum ve kıyaslama hatası, öğrenme gibi görünür. İki 2026 çalışması, bir puanın geçerli görünürken başka bir şey tesis edebildiği farklı yolları gösterir. Açık uçlu bir pazarlama yazısı çalışması, yalnızca ICC(2,1) 0,435 LLM–insan mutlak uyumu ve yalnızca LLM’den anlamlı biçimde daha kötü bir melez buldu; çapa kompozisyon uyumu 0,338’den 0,902’ye taşıdı (Agreement and error in automated scoring of student marketing posts). Altı fizik kıyaslamasının uzman denetimi, denetlenen retlerin %95,20’sini model hatasından ziyade kusurlu maddelere veya değerlendiricilere atfetti; CritPt ortalama@5’i %32,29’dan %87,50’ye taşıdı (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Her iki durumda da tehdit, puanlanan modelin dışındaki yapıyla ilgisiz varyanstır.

  • LLM kodlayıcıları arasındaki uyum tutarlılıktır, geçerlilik değil. Uzman tarafından etiketlenmiş bir eğitim diyalogu korpusunda, çapraz model uyum süzgeci, korpustan türeyen 74 davranışsal iddiadan yalnızca 33’ünü ve yapıdan türeyen 48 iddiadan 11’ini tuttu; paylaşılan model hataları süzgeçten sağ çıktı, böylece modeller arası uyum yapı geçerliliğinin yerini tutamaz (Bernado vd., 2026).

  • Maruziyet ölçülebilir ve çözüm yeterli kanıttır, azami güvenlik değil. Villanueva (2026), 53.915 değerlendirme maddesini yayımlanan biçim, gözetim ve not ağırlığına göre puanladı ve değerlendirilen notların çoğunun, yazarlığının gönderimden sonra doğrulanamadığı çalışmalara dayandığını buldu; programların her birimi güvenli kılmak değil, kilit aşamalarda yeterli öğrenme kanıtına ihtiyacı olduğunu savunur.

  • Geçerli bir ölçüm, optimize edilmesi için hâlâ güvensiz olabilir. Bir LLM öğretmeninin rubrik tarzı bir uyarlanabilirlik ölçütüne göre ince ayarı yapılması ölçütü yükseltirken (0,05’ten 0,42’ye) kör uzman derecelendirmeleri düştü (4,46’dan 3,03’e), çünkü kararları bağımsız olarak puanlayan bir ölçüt, tek en iyi kararın yinelenmesiyle maksimize edilir (Domínguez Figaredo & Fernández De la Cruz, 2026)).

Bağlı kavramlar

Bağlı makaleler

Bağlı SSS

Üst veri

Değerlendirme ve ölçmeÖzgün Değerlendirme, Otomatik Değerlendirme, Biçimlendirici Değerlendirme
Araştırma yöntemleri ve değerlendirmeRCT
Eşitlik, etik ve sorumlu kullanımÖnyargı Azaltma, Eşitlik
Eğitimde YZ’nin temelleriAkademik Dürüstlük
SourceHistoryEditChat

Bu sayfayı göm

Bu sayfayı bir öğrenme yönetim sistemine veya başka bir web sitesine gömmek için aşağıdaki kodu kopyalayın. Gömülü sürüm yalnızca sayfa içeriğini gösterir — site başlığını, gezintiyi ve alt bilgiyi gizler.