Bir Eğitmen YZ İle İlgili Müdahaleleri Değerlendirmek İçin Hangi Ölçütleri ve Araştırma Yöntemlerini Kullanabilir?

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Yöntemi iddiaya uydurun. Öğrencilerin bir YZ etkinliğini beğenip beğenmediğini bilmek istiyorsanız, bir anket yardımcı olabilir. Öğrenip öğrenmediklerini bilmek istiyorsanız, performans ölçütleri kullanın. Bir anket bir öz bildirim ölçüsüdür — tutumlar için doğru araç, öğrenme için ise o sayfada toplanan nedenlerle yanlış olandır. YZ’nin bir iyileşmeye neden olup olmadığını bilmek istiyorsanız, inandırıcı bir karşılaştırma koşulu ve tercihen randomize atama gereksinirsiniz.

Yöntem seçenekleri

Research Methods in AIED sayfası çeşitli yararlı seçenekleri ayırır:

• Randomize deneyler en güçlü nedensel çıkarımı sağlar.
• Yarı deneysel önce/sonra veya eşleştirilmiş grup tasarımları, bozulmamış sınıflarda genellikle daha pratik olmakla birlikte daha zayıf nedensel iddiaları destekler.
• Nitel görüşmeler, odak gruplar, gözlemler ve yapıt analizi, mekanizmaları ve beklenmeyen deneyimleri ortaya çıkarır.
• YZ destekli nitel analiz, görüşme veya gözlem derlemlerini dakikalar içinde yeniden düzenleyebilir; bu nedenle gerekçelendirilebilirlik doğruluk veya açıklama kadar önemlidir: okuyucunun veriden iddiaya giden yolu incelemesine, itiraz etmesine ve gözden geçirmesine izin veren belgelenmiş yeniden düzenlemeleri kaydedin.
• Karma yöntemler sonuç kanıtlarını, etkilerin neden ortaya çıktığına ilişkin açıklamalarla birleştirir.
• Tasarım temelli araştırma, eğitmenlerin bir müdahaleyi gerçek bir kursta yinelemeli biçimde geliştirip rafin ettiği durumlarda yararlıdır.

Hangi kanalı kullanırsanız kullanın, nedensel bir iddiayı yorumlanabilir kılan yalnızca üç koşul vardır: kesin biçimde betimlenmiş bir müdahale, iyi tanımlanmış bir karşılaştırma koşulu ve kalıcı öğrenmenin geçerli bir ölçüsü. Weidlich ve ark. (2025), 19 ChatGPT-eğitim karşılaştırmasını tam olarak bu ölçütlere göre denetler ve yalnızca 4’ünün (%21) üçünü de karşıladığını bulur — %74’ünde iyi tanımlanmış bir müdahale, %42’sinde iyi tanımlanmış bir denetim grubu ve %53’ünde öğrenme olarak nitelendirilebilir bir sonuç bulunmuştur. Yeni etkinlikler, geri bildirimler veya arayüz tasarımıyla birlikte sunulan bir genel amaçlı araç, ortamı yöntemle karıştırır; bu nedenle anlamlı bir sonuç YZ’ye atfedilemez.

Yönetilebilir bir sınıf değerlendirmesi

Yönetilebilir bir sınıf değerlendirmesi için, yararlı bir asgari düzey şudur: bir taban çizgisi ölçüsü, müdahale, anında bir son ölçü ve daha sonraki bir yardımsız ölçü. Her olanağında, mevcut uygulama, YZ yok, sınırsız YZ’e karşı iskelemeli YZ veya iki alternatif tasarım gibi bir karşılaştırma koşulu ekleyin. Destekli performansı ve bağımsız öğrenmeyi ayrı ayrı ölçün.

AI Ed Evaluation sentezi; yardımsız öğrenme kazanımı, gecikmeli hatırlama, yeni bir göreve aktarım, akıl yürütme kalitesi, YZ Hakkında Yanlış Kanılar, geri bildirim kullanımı ve alt grup performansı gibi sonuçları önerir. Katılım, memnuniyet, YZ kullanım günlükleri, öz yeterlilik ve algılanan faydalılık değerli ikincil ölçütler olabilir ama öğrenmenin yerine geçen ölçütler olarak ele alınmamalıdır. Eğitmen iş yükü ve zaman tasarrufu da meşru uygulama çıktılarıdır.

Sonuçların nasıl okunacağına ilişkin iki uyarı geçerlidir. Birincisi, literatürden alınan bir ortalama etki tek bir sınıf için zayıf bir rehberdir: O’Neill’in (2026) denetimi, 14 yüksek etkili meta-analizin hiçbirinin iddiaları için geçerli bir temel sunmadığını bulmuştur — havuzlanan "akademik başarı" test puanlarını, motivasyonu, Öz Yeterlilik ve tutumları tek bir tahminde birleştirmiştir; bildirilen heterojenlik aşırıydı (I², bunu bildiren 13 analizde %77,2 ile %94,4 arasında değişiyordu ve bu 13’ün 12’si %80’in üzerindeydi); 14’i de yayın yanlılığını geçersiz biçimde değerlendirdi; ve rastgele denetlenen birincil çalışmaların %61’i geçerlilik sorunları taşıyordu; oysa bireysel sonuçların gerçekte ne kadar yayıldığını gösterecek istatistikler büyük ölçüde eksikti (yalnızca dört analiz çalışmalar arası varyansı ve yalnızca ikisi tahmin aralığı bildirdi ve her ikisi de sıfırı içeriyordu). İkincisi, uygun bir puan yanlış yapıyı ölçebilir: sekiz YZ öğretim ajanının bir değerlendirmesinde, platformun kendi puanına göre üçüncü sıradaki ajan, uzman doğrulamalı bir rubrikte sonuncu oldu; çünkü platform puanları ajanın öğretim kalitesini değil, etkileşim sırasındaki öğrenci performansını indeksledi. Herhangi bir gösterge panosu ölçütünü, geliştirmeyi amaçladığınız yetkinliğe bağlı bir ölçüye karşı doğrulanması gereken bir hipotez olarak ele alın.

Mevcut kanıtın neyi gösterip neyi göstermediği ve nerede ince kaldığı için bkz. YZ Kullanmak Gerçekten Öğrencilerimin Öğrenmesine Yardımcı Oluyor mu? ve Eğitimde Yapay Zeka Araştırma Literatüründeki Kayda Değer Boşluklar Nelerdir?.