Toplayıcı Değerlendirme

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Toplayıcı değerlendirme — bir ünitenin, kursun veya programın sonunda bir öğrenenin ne öğrendiğini değerlendirmek ve sertifikalamak için kullanılan değerlendirme; öğretim sırasında öğrenmeyi destekleyen formative assessment aksine. Toplayıcı değerlendirme tipik olarak not veren, ilerlemeyi kapılayan ve yeterliliği sertifikalayan yüksek getirili sınavlar biçimini alır — yazılı, sözlü, gözetimli veya kitapsız. YZ çağında toplayıcı değerlendirme, Akademik Dürüstlük ve geçerlilik üzerine merkezi bir savaş alanına dönüştü: generative AI, gözetimsiz veya evde yapılan görevlerde performansı şişirebilir; bu da toplayıcı biçimin seçimini — ve YZ ikamesine nasıl direndiğini — belirleyici bir tasarım kararı haline getirir.

Dikkate Alınması Gereken Sorular

• Toplayıcı değerlendirme bir kursun sonunda öğrencinin ne öğrendiğini sertifikalarken, biçimlendirici değerlendirme süreç içinde öğrenmeyi destekler. Bu ikisi arasındaki çizginin nerede bulanıklaştığını gördünüz ve farklı işlevler görmelerinin neden önemli olabileceğini düşünüyorsunuz?
• Sayfa, üretici YZ'yı toplayıcı değerlendirmeyi aynı anda iki yönde yeniden şekillendiren olarak çerçeveliyor: YZ sınavları puanlar ve öğrenciler sınav temelli ölçümden kaçmak için YZ kullanır. Bu iki baskıdan hangisini geçerliliğe yönelik daha büyük tehdit olarak görüyorsunuz ve neden?
• YZ yanıtları üretebildiğinden gözetimsiz veya evde yapılan görevler geçerliliğini yitirirse, bu, değerlendirmelerin nasıl tasarlanması gerektiği konusunda ne ima eder — ve süreçte neyin feda edilebileceğini düşünüyorsunuz?
• Sayfada atıfta bulunulan Research, LLM'lerin denemeleri insanlarla aynı biçimde puanlamadığını buluyor. Otomatik puanlama hızlı ve tutarlıysa ama farklı puanlarsa, bu bir fairness sorunu mu, bir fırsat mı, yoksa ikisi de mi?
• Arkasındaki iş YZ tarafından üretilmiş olabilirken, yüksek getirili bir sonucun (not, sertifika, kabul) ne anlama geldiğini düşünüyorsunuz? Gerçekten güvenebileceğiniz bir değerlendirmeyi nasıl tasarlardınız?

Giriş

Toplayıcı değerlendirme, biçimlendirici değerlendirmeden temelde farklı bir işlev görür: sonraki adımlara rehberlik etmek yerine başarıyı ölçer ve sertifikalar. Ünite sonu testleri, final sınavları, standart ve yüksek getirili testler (örn. giriş sınavları), sözlü savunmalar ve kümülatif performans değerlendirmelerini içerir. Toplayıcı sonuçlar gerçek sonuçlar taşıdığından (notlar, ilerleme, sertifikalar, üniversite kabulü), YZ çağında özel baskılarla karşılaşırlar — hem otomatik puanlamanın hedefleri hem de öğrencilerin üretici YZ kullanarak oynamaya çalışabileceği korumasız ölçütler olarak.

YZ çağında oyun: geçerlilik ve dürüstlük

Bilgi tabanının araştırması, üretici YZ'nin toplayıcı değerlendirme manzarasını iki yönde temelden nasıl yeniden şekillendirdiğini belgeler: YZ sınavları ölçekte puanlamak için kullanılır ve YZ öğrenciler tarafından kendi öğrenmelerinin sınav temelli ölçümünden kaçmak için kullanılabilir.

• Puanlayıcı olarak YZ. Toplayıcı değerlendirme, sınavların, denemelerin ve kısa yanıtların automated scoring giderek artan biçimde dayanır. Research on LLM essay grading, LLM'lerin denemeleri insanlarla aynı biçimde puanlamadığını bulur ve yüksek getirili otomatik puanlama için geçerlilik ve adillik soruları ortaya çıkarır. LLMs assessing student self-explanations ve automatic short-answer grading, toplayıcı bağlamlarda LLM puanlamasının güvenilirliğini araştırır; psychometrically-aware frameworks ise otomatik puanlamayı güvenilir ve uyarlanabilir tutmayı hedefler. 296 öğrencinin katıldığı elde yazılmış bir genel kimya sınavı, seçici gözetimin neden gerekli olduğunu gösterir: çok kipli bir LLM'nin asistan notlandırmasıyla toplam puan uyumu yüksekti (R² = 0,91) ancak madde düzeyinde güvenilirlik biçime göre keskin biçimde değişiyordu ve yanlış pozitiflerin (YZ'nin gerçekten yanlış yanıtları kredilendirmesi) tespit edilmeden kalma eğilimi vardı, çünkü öğrenciler nadiren itiraz eder — böylece "her şeyi puanlayan" tek tip bir YZ puanlayıcı, yüksek getirili kullanımda güven temelli insana erteleme olmadan savunulamaz (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).
• Sonuç uyumu, kaba madde puanlamasından sağ çıkabilir. Yönetilmiş resmî notlara karşı, 10.364 elde yazılmış Fizik Olimpiyatı ve üniversite sayfasını puanlayan çok kipli bir LLM, r = 0,93–0,96 ile korele oldu ve aynı beş öğrencili uluslararası takımı yeniden ortaya çıkardı; ancak tam soru parçası uyumu %70'e ulaştı — bir puanlayıcı, bilgilendirdiği kararlarla yargılanır (Pathak et al. (2026)).
• Kaçış aracı olarak YZ. Üretici YZ yazılı sorulara yanıt üretebildiğinden, gözetimsiz ve evde yapılan toplayıcı görevler geçerliliklerini yitirir: proctored, unassisted measures are essential, çünkü gözetimsiz performans YZ tarafından şişirilir ve guardrailed (hint-not-answer) tools, korumasız YZ'nin yol açtığı sınav cezasını ortadan kaldırabilir. Chirikov's (2026) 500.000'den fazla not üzerindeki yarı-deneysel çalışması mekanizmayı somutlaştırır: ChatGPT'nin yayınlanmasından sonra, YZ maruziyeti daha fazla olan kurslarda A notlarının payı 13 puan arttı ve etki ödev ağırlıklı kurslarda yoğunlaştı (üçlü farklar tahmininde ek 16 puan) — gözetimsiz ödevlerin, gerçek learning gains değil, YZ'nin toplayıcı sonuçları şişirdiği yer olduğunun doğrudan kanıtı.
• YZ üretimi sınavlar. A large-scale field study ve EFL assessment research, YZ'nin yüksek kaliteli sınav ve değerlendirme görevleri üretip üretemeyeceğini inceler — YZ'nin toplayıcı tasarım amaçlı yeni ortaya çıkan bir kullanımı.

YZ'ye dirençli toplayıcı biçimler

Bilgi tabanındaki temel tema şudur: toplayıcı biçim, YZ direncini belirler — bir görev canlı, yüz yüze ve bireysel olarak araştırılmış performans ne kadar gerektirirse, öğrencilerin kendi öğrenmelerinin yerine YZ ikame etmeleri o kadar zorlaşır.

• Sözlü sınavlar ve değerlendirmeler. Fenton (2025), sözlü sınavın düşük teknolojili, doğal olarak YZ'ye dirençli bir toplayıcı biçim olduğunu savunur: gerçek zamanlı, etkileşimli diyaloğu anlamayı, critical thinking ve akıl yürütmeyi test eder, ezberden değil; öğrencilerin YZ kullanarak yanıt üretmesini ve ezberlemesini engeller ve mesleki uygulamayı yansıtır. Socratic tests ve code-review interviews bunu dinamik, konuşmaya dayalı ve görüşme temelli toplayıcı değerlendirmeye uzatır.

• Kitapsız, gözetimli, yardımsız ölçütler. Evidence ve large-scale field data, öğrenciler YZ kullandığında şişirilmiş ödev veya ev işi değil, gözetimli kitapsız sınavların gerçek öğrenmenin güvenilir sinyali olduğunu gösterir. Responsible assessment çerçeveleri, bu yardımsız ölçütleri geçerlilik odaklı bir yeniden tasarım içinde gömer. Sınavlar çevrimiçi kaldığında, remote proctoring bu rolü üstlenir ve otomatik gözetimin kurpusun iki incelemesi, tespit kazançlarının yanı sıra gizlilik ve fairness kaygıları bulur (Ensuring Academic Integrity through Automated Online Exam Proctoring: A Decade-Long Systematic Review, A Comprehensive Review of the Changing Landscape of Academic Dishonesty in Automated Proctoring in the Era of Artificial Intelligence).

• Korumasız bir görevi onaylayan bir ikizle eşleştirin. Roe, Perkins & Giray (2026), YZ'ye karşı korumasız bir görevi öğrenme değeri için korur ama aynı sonuçları değerlendiren ikinci bir görevle eşler; notu onaylayıcı bir eşik veya ağırlıklandırma aracılığıyla karşılıklı bağımlı kılar, böylece ikiz sonucu sertifikalar.

Yüksek getirili ve standart toplayıcı değerlendirme

Yüksek getirili toplayıcı değerlendirme — giriş sınavları, standart testler ve sertifikasyon — olağanüstü sonuçlar taşır ve YZ çağı kaygısının odağıdır. The generative AI learning penalty study, lise (Zhongkao) ve üniversite (Gaokao) giriş sınavlarındaki sonuçları ölçerek, uzun süreli YZ kullanımından sonra giriş sınavı puanlarının %18–24 düştüğünü buldu. The Effortless Trap ve performance-vs-learning research, YZ destekli görevlerdeki kazanımların yardımsız yüksek getirili ölçütlere aktarılmadığını konusunda uyarır.

YZ çağında toplayıcı ve biçimlendirici

Bilgi tabanının değerlendirme literatürü, tutarlı biçimde Değerlendirme değerlendirmenin, formative ve toplayıcı işlevleri birleştirdiğinde en etkili olduğunu vurgular — ancak YZ çağı ayrımı keskinleştirir. YZ, düşük getirili, gözetimsiz ve süreci gizli görevlerde performansı şişirdiğinden, öğrenmenin gerçekten gerçekleşip gerçekleşmediğine ilişkin toplayıcı (özellikle gözetimli/kitapsız/yüz yüze) ölçütler çok önemli kontrol haline gelir. Bu, özgün ve YZ'ye dirençli toplayıcı görevleri (sözlü sınavlar, kod incelemesi görüşmeleri, gözetimli sınavlar, süreç temelli portfolios) integrity çapası olarak korurken, yolda öğrenmeyi desteklemek için biçimlendirici değerlendirmeyi kullanan bir değerlendirme yeniden tasarımını gerekçelendirir. Yapıcı tasarım yanıtı için Özgün Değerlendirme sayfasına bakın.

Eğitimde YZ için çıkarımlar

• Toplayıcı biçim bir geçerlilik ve dürüstlük kaldıracıdır: YZ'ye dirençli toplayıcı biçimler (sözlü, gözetimli, kitapsız, yüz yüze), değerlendirilen performans ile gerçek öğrenme arasındaki bağlantıyı korur.
• Gözetimli/yardımsız ölçütler güvenilir sinyaldir: öğrenciler YZ kullandığında, yardımsız toplayıcı sınavlar — ödev değil — gerçek öğrenmeyi ortaya çıkarır.
• Otomatik puanlama psikometrik incelemeye ihtiyaç duyar: yüksek getirili sınavları puanlamak için LLM kullanmak, yalnızca doğruluk değil, güvenilirlik, adillik ve geçerlilik değerlendirmesi gerektirir. Puanlama hatası ayrıca nota bağımlıdır: 32 halk sağlığı sınavı gönderimi üzerinden, LLM'ler ölçeğin uçlarından kaçındı — hızlı kipte hiç E veya F görülmedi — en iyi model insan notuyla tam olarak %50,0'de ve ±1 not aralığında %90,6'da eşleşti (Brevik et al. (2026)).
• YZ ayrıca sınav üretebilir: YZ destekli sınav ve görev üretimi, kendi başına kalite değerlendirmesi gerektiren yeni ortaya çıkan bir toplayıcı tasarım uygulamasıdır.
• Yalnızca biçimi değil, puanlamanın amacını yeniden düşünün. Mesny, Roberge-Maltais & Galy (2026), yüzeysel ve parçalı öğrenmeyi teşvik eden, öğrencilere az denetim veya şeffaflık veren, içsel Motivasyon zedelenen, stresi ve anxiety besleyen ve gerçek dünya uygulamasından ziyade büyük ölçüde hatırlamayı değerlendirirken eşitsizlikleri sürdüren geleneksel toplayıcı, norm referanslı puanlamayı eleştirir; yeniden değerlendirmeyi, standards-based grading ve puan vermemeyi, toplayıcı ağırlıklı uygulamayı yumuşatabilecek puanlama odaklı yenilikler olarak konumlandırır; bunların yönetim eğitiminde normatif engeller — eğriye göre puanlama, dışsallaşan sinyalleme (sıralamalar, stajlar, akreditasyon) ve öğrencilerin araçsal zihniyeti — nedeniyle marjinal kaldığını kabul eder ve kurumsal destekle kademeli denemeler önerir.

Bağlı kavramlar

• Uzaktan Gözetimli Sınav
• Değerlendirme
• Biçimlendirici Değerlendirme
• Özgün Değerlendirme
• Otomatik Değerlendirme
• Değerlendirme Geçerliliği
• Akademik Dürüstlük
• AIEd Değerlendirmesi
• Yükseköğretim
• K-12

Bağlı makaleler

• Large language models as grading assistants in public health education: a method-comparison study of essay-style exam assessment — LLM puanlayıcılar, yüksek getirili deneme değerlendirmesinde not ölçeğini sıkıştırır ve uçlardan kaçınır

• A Comprehensive Review of the Changing Landscape of Academic Dishonesty in Automated Proctoring in the Era of Artificial Intelligence

• Ensuring Academic Integrity through Automated Online Exam Proctoring: A Decade-Long Systematic Review

• Reconsidering the Use of Oral Exams and Assessments: An Old Way to Move Into a New Future — Sözlü sınavları özgün, YZ'ye dirençli toplayıcı değerlendirme olarak yeniden düşünmek

• The Generative AI Learning Penalty: Evidence from Chinese Secondary Education — Üretici YZ öğrenme cezası: gözetimli/kitapsız sınav kanıtı

• Artificial Intelligence and Grade Inflation — Not şişkinliğinin bir mekanizması olarak YZ görev yer değiştirme; ödev ağırlıklı kurslar (Chirikov 2026)

• Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build — Daha hızlı tamamlama, daha az öğrenme: gözetimli ölçütler esastır

• Generative AI without guardrails can harm learning: Evidence from high school mathematics — Korkulukları olmayan üretici YZ öğrenmeye zarar verir

• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — YZ üretimi sınavların kalitesini değerlendirmek

• LLMs Do Not Grade Essays Like Humans — LLM'ler denemeleri insanlar gibi puanlamaz

• Exploring the Effectiveness of Using LLMs for Automated Assessment of Student Self Explanations in Programming Education — Öğrenci öz açıklamalarının otomatik değerlendirmesi için LLM'ler

• Confidence Estimation in Automatic Short Answer Grading with LLMs — Otomatik kısa yanıt puanlaması

• PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback — Psikometrik olarak bilinçli, niteliğe uyarlanmış deneme puanlaması

• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — Sokratik testler: dinamik, konuşmaya dayalı, çok kipli değerlendirme

• Combating Harms of Generative AI in CS1 with Code Review Interviews and a Flipped Classroom — CS1'de kod incelemesi görüşmeleri

• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — YZ çağında sorumlu değerlendirme

• Test-Driven, AI-Assisted Learning: Replacing Lectures with Weekly Closed-Book Tests — Test güdümlü YZ destekli öğrenme

• Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming — Nesne yönelimli programlama değerlendirmelerinde YZ performansı

• The Effortless Trap: Productive Struggle, AI, and the Illusion of Learning — The Effortless Trap: üretken çaba ve öğrenmenin yanılsaması

• AI-Generated versus Human-Developed Assessment Tasks in EFL Context: Insights from TPCK Model — EFL'de YZ üretimi ve insan geliştirmeli değerlendirme görevleri

• Assessment twins: An approach for strengthening assessment validity in the age of generative AI — Üretici YZ çağında değerlendirme geçerliliğini güçlendiren değerlendirme ikizleri (Roe, Perkins & Giray 2026)

• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — Elde yazılmış fizik değerlendirmelerinin YZ ile puanlanması (Olimpiyat)

• Innovative assessment and grading practices in higher education: A critical exploration for management educators

• Assisting the grading of a handwritten general chemistry exam with artificial intelligence