Notanın Öğrencinin Ne Bildiği ya da Ne Yapabildiği Konusunda Hâlâ Savunulabilir Bir Şey Söylemesi İçin Değerlendirmeyi Nasıl Yeniden Tasarlarım?

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Notanın hangi yetkinliği temsil etmesi gerektiğini açıkça belirterek başlayın. Bir öğrencinin ne yapabildiğini bağımsız olarak mı değerlendiriyorsunuz, YZ ile uygun biçimde neler başardığını mı, YZ’yi değerlendirme ve yönlendirme becerisini mi, yoksa bunların bir bileşimini mi? Bilgi tabanının Değerlendirme Geçerliliği sayfası bunu bir geçerlilik problemi olarak ele alır: cilalanmış bir ürün, öğrencinin o ürünün gösterdiği yetkinliğe sahip olduğunun yeterli kanıtı değildir. Bu, aynı argümanın değerlendirme tarafındaki yarısıdır; uygulama tarafındaki yarısı Kursumda YZ ile Aldatmayı Nasıl Azaltabilirim? sayfasındadır ve genel geçerlilik çerçevesi Bir Eğitmen YZ İle İlgili Müdahaleleri Değerlendirmek İçin Hangi Ölçütleri ve Araştırma Yöntemlerini Kullanabilir? üzerinden ilerler.

Yapılandırıcı ikamesi riski

Özgün Ürünlerden Doğrulanmış Süreçlere başlıklı makale, ortaya çıkan riske yapılandırıcı ikamesi (construct substitution) adını verir: değerlendirici, YZ aracılığıyla üretilmiş bir ürünü öğrenciye atfeder ve istemeden öğrencinin değil aracın yetkinliklerini ölçer. Makalenin önerdiği yanıt, öğrencinin akıl yürütmesini, yargısını, doğrulamasını, yinelemesini ve sorumluluğunu; aşamalı teslimler, açıklamalı karar gerekçeleri, süreç kayıtları, geri bildirim kullanımı beyanları, sözlü savunmalar ve doğrulanmış süreç kanıtının diğer biçimleri gibi yaklaşımlarla görünür kılmaktır.

Mohamed ve Temimi, aynı problemi ahlaktan çok kusursuz bilgi sorunu olarak yeniden çerçeveler: öğrenci işin nasıl üretildiğini bilir, kurum ise yalnızca ürünü ve kısmi izleri görür; bu nedenle tasarım sorusu her bir değerlendirme ortamının hangi öğrenci yanıtını en çekici kıldığı olur. Yanıt-bölgesi modeli üç seçeneği karşılaştırır — YZ kullanımı yok, açıklanan kullanım ve gizli kullanım — ve kuralların, izlemenin, açıklamanın ve yeniden tasarımın farklı kanallar üzerinden işlediğini, yalnızca en çekici yanıt değerlendirmenin amacıyla uyumlu olduğunda başarılı olduklarını gösterir. İki sonuç doğrudan mimariye ilişkindir. Caydırıcılık, bir dedektörün ham yakalama oranında değil, gizli kullanım ile meşru çalışma arasındaki ayırtaç gücünde işler; bu nedenle doğru pozitiflerden daha hızlı yükseldiğinde daha güçlü izleme gizlenmeyi görece daha çekici kılabilir. Yeniden tasarım ise öğrencileri yalnızca rubrik gerçekten süreç kanıtını ödüllendirdiğinde sorumlu kullanıma doğru yönlendirir; aksi halde yüzeysel kalır. Pratik kuralı, en özenli öğrenci için değil gizlemeye en çok eğilimli öğrenci için tasarım yapmaktır.

Güçlü bir değerlendirme mimarisi

Pratikte güçlü bir değerlendirme mimarisi, çoğunlukla YZ destekli özgün bir görev ile bir biçimde bağımsız doğrulamayı birleştirir. Disipline bağlı olarak bu kısa bir sözlü açıklama, sınıf içi uygulama, canlı gösteri, açıklamalı portföy, kısa bir yardımsız bileşen ya da önemli kararlar hakkında soru sormayı içerebilir.

Özgün Değerlendirme kavramı, geleneksel ödevleri yalnızca YZ için tamamlanması daha zor hale getirmekten çok, gerçekçi entelektüel çalışmayı, bilişsel zorluğu, öğrenci etkinliğini, geri bildirimi ve sosyal ya da mesleki özgünlüğü vurgular. Sözlü ve canlı bileşenlerin kaygıya, engelli öğrenciler için düzenlemelere, dilsel farklılıklara ve değerlendirici yanlılığına dikkatle eğilmesi gerekir.

Gözetimsizliğiyle popüler bir mimari — öğrenci başına görev çeşitlendirmesi, yani her adayın aynı görevin yüzeysel olarak farklı ama yapılandırıcı açıdan denk bir sürümünü alması, böylece yanıtların yararlı biçimde paylaşılamaması — koşula bağlıdır, bedava değildir. 60 koşul hücresinde 600 üretilmiş çeşitten oluşan bir Karşılaştırma testi (Benchmark) olan VARIA, önde gelen modellerin ortak bir dürüstlük puanında (0,81–0,88) sıkı biçimde kümelendiğini, önde olmayan referansların ise 0,50–0,55’e düştüğünü ve tek bir istek metni stratejisinin yüzeysel çeşitlilik ile yapılandırıcı denkliği aynı anda en iyi duruma getirmediğini bulmuştur. Ölçekte çeşitlendirme yalnızca istek metniyle varsayılamaz; bu nedenle bir kurum, güvenceyi gerçek saymadan önce kendi model–istek metni çiftini doğrulamalıdır.

Yeniden tasarım nadiren ödev ödev işler. Büyük bir Avustralya üniversitesindeki 12 akademisyen ve 17 öğrenciyle yapılan bir nitel çalışmada Nicola-Richmond ve ark., her iki grubun da değerlendirmenin değişmesi gerektiği konusunda hemfikir olduğunu, ancak sistemsel sürtünmeyi vurguladığını — uzun hazırlık süreleri, büyük kohortlarda akreditasyon kısıtları, iş yükü ve maliyet — bulmuş; yeniden tasarımın bir köy gerektirdiğini sonuçlandırmıştır: değerlendirme tasarımı, üretken YZ, alan uzmanlığı, endüstri ve kanıt uzmanlığını birleştiren program genelinde bir ekip, GenAI okuryazarlığı ve öğrenme güvencesi noktaları ise bir yeterliklik içinde stratejik olarak yerleştirilmelidir. Bunu uygulanabilir kılan görev düzeyindeki yöntem, McCorkle’ın belgelediği yöntemdir: bir öğrencinin gerçekleştirdiği her adımı envanterleyin, her adım için "tam olarak neyi değerlendiriyorum?" diye sorun ve YZ sınırını yanıttan türetin — bu aynı zamanda Kursumda YZ ile Aldatmayı Nasıl Azaltabilirim? arkasındaki beklentilerin nasıl açık ve uygulanabilir hale geldiğidir.

Amaç, mekaniğin kendisi kadar önemlidir. El Khoury ve Ma, yalnızca usulsüzlüğü önleme etrafında örgütlenen reformun fazla savunmacı olduğunu savunur ve neşeli değerlendirme önerir — güvenli, duygusal olarak duyarlı, güçlendirici ve öğrencinin Öğrenen Etkenliği etkinliğini destekleyen bir değerlendirme — bunda dürüstlük iyi tasarımın bir sonucu olup başlangıç noktası değildir. Çalışılmış örnekleri, öğretmenin oluşturduğu bir YZ ajanı kullanır; ajan öğrencileri yargılamadan önce prova ettirir ve rubrike uygun bir kanıt raporu üretir; ancak işbölümü açıkça belirtilmiştir: kanıtları YZ düzenler, yorumlayan öğretmendir.