YZ Kullanmak Gerçekten Öğrencilerimin Öğrenmesine Yardımcı Oluyor mu?

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Evet, yardımcı olabilir — ancak YZ ile üretilmiş daha iyi bir iş, daha iyi öğrenmenin kanıtı değildir. Araştırmalar gerçek öğrenme kazanımlarını, göz ardı edilebilir etkileri ve öğrenme zararlarını belgelemektedir. Önemli olan soru, öğrencilerin YZ kullanıp kullanmadığı değil; YZ’nin onlara ne yapmalarına yardımcı olduğu, hangi düşünmenin kendi sorumluluklarında kaldığı ve sonrasında ne yapabildikleridir.

Bilgi tabanı, YZ destekli başarılı çalışma ile kazanılmış yetkinlik arasındaki ayrımı performans–öğrenme boşluğu olarak adlandırır. Bir öğrenci YZ ile daha güçlü bir makale teslim edebilir veya daha fazla alıştırma problemi çözebilir, oysa benzer işleri bağımsız olarak yapmada daha iyi — bazen daha kötü — hale gelmeyebilir. Tersine, iyi tasarlanmış YZ geri bildirimi, örnekleri ve öğretimi, sonrasında YZ olmadan performansı iyileştirebilir. Bkz. Learning Gains ve Cognitive Offloading.

Araştırma aslında ne gösteriyor?

Bazı YZ destekli müdahaleler öğrenmeyi iyileştirir

Geniş bir başlangıç noktası, Can EdTech Close Learning Gaps? Global Evidence from Digital Interventions’dır. On ekonomide 14 randomize çalışmayı bir araya getiren bu Dünya Bankası sentezi, uyarlanabilir ve YZ destekli eğitim teknolojisi için ortalama 0,125 standart sapma büyüklüğünde pozitif bir ortalama öğrenme etkisi tahmin etmiştir. Ancak bu, önceki uyarlanabilir sistemleri Üretici YZ araçlarıyla birleştirmiştir. Daha yeni üretken araçlar için istatistiksel olarak kanıtlanmış bir avantaj bulmamış, o karşılaştırmada kayda değer belirsizlik olduğunu kabul etmiştir. Sonuç, bu müdahalelerin potansiyelini destekler — herhangi bir sohbet robotunun öğrenmeyi iyileştireceği iddiasını desteklemez.

Daha somut kanıtlar, öğretim tasarımının neden önemli olduğunu gösterir. Human-centered GenAI feedback design in higher education çalışmasında, 1.176 birinci sınıf üniversite öğrencisini kapsayan çok merkezli bir randomize çalışma; akran geri bildirimini, doğrudan YZ geri bildirimini, öz değerlendirmeyi takip eden YZ geri bildirimini ve öz değerlendirme, akran geri bildirimi ile YZ eleştirisini birleştiren hibrit bir diziyi karşılaştırmıştır.

Yansıtıcı ve hibrit tasarımlar, doğrudan YZ geri bildiriminden daha güçlü gecikmeli, YZ’siz aktarım üretmiştir. Öğrenciler, yalnızca gözden geçirilmekte olan ödevde değil, sonrasında yeni bir bilimsel argümantasyon görevinde daha iyi performans göstermiştir. Ancak bu koşullar ek değerlendirme etkinliği ve muhtemelen daha fazla zaman gerektirmiştir. Çalışma, eksiksiz geri bildirim tasarımını destekler; tek bir bileşenin veya YZ’nin kendisinin avantaja yol açtığını kanıtlamaz.

YZ alıştırma performansını iyileştirirken öğrenmeye zarar verebilir

En net uyarı, Generative AI without guardrails can harm learning: Evidence from high school mathematics çalışmasından gelir.

Yaklaşık 1.000 öğrenciyle yürütülen bu randomize saha deneyinde, genel amaçlı tarzda bir YZ arayüzü destekli alıştırma puanlarını denetim grubuna göre %48 artırdı, ancak öğrenciler sonrasında desteksiz sınavlarda %17 daha düşük puan aldı. Öğretmen tarafından tasarlanmış rehberlik ve ipuçlarıyla yapılandırılmış bir eğitmen bu cezayı büyük ölçüde önledi. Kritik olarak, denetim grubuna göre desteksiz sınav performansında istatistiksel olarak anlamlı bir iyileşme üretmedi. Zarardan kaçınmak, ek öğrenme göstermekten farklıdır. Bu yüzdeler bu özel müdahaleyi ve ortamı betimler, YZ kullanımının evrensel etkilerini değil.

Sonuç pratik bir çıkarım sunar: Bir YZ aracını tamamlanan ödev, doğru alıştırma yanıtları veya öğrenci memnuniyetine göre yargılamak, eğitim değerine ilişkin yanıltıcı bir tablo sunabilir. Memnuniyet ve algılanan öğrenme öz bildirim ölçütleridir ve bilgi tabanı bunların ölçülmüş öğrenmeden ne kadar uzaklaşabildiğini belgeler.

Daha büyük ve uzun bir saha çalışması aynı yönü ölçek düzeyinde işaret eder. The Generative AI Learning Penalty, kademeli YZ benimsemesini kullanarak 26.811 Çinli ortaöğretim öğrencisini (7–12. sınıflar) 30 ay boyunca izledi. Ödev puanları %18 yükseldi ve tamamlama süresi %30 düştü (64 dakikadan 45 dakikaya), oysa kitapsız aylık sınav puanları altı ay içinde %20 düştü ve yüksek riskli giriş sınavı puanları taban çizgisinin %18–24’ü kadar düştü — ancak yaklaşık iki yıl sonra. Kayıplar, davranışı ödev dış kaynağa devretmeyi gösteren YZ kullanıcılarının yaklaşık %81’i arasında yoğunlaştı; ödev süresini kullanıcı olmayanlarla karşılaştırılabilir tutan kullanıcılar yaklaşık aynı verimlilikte öğrendi. Ödev ve sınav performansı arasındaki bu ayrışma, ulusal bir kohort üzerinde yazılmış performans–öğrenme boşluğudur ve iki yıllık gecikme, kısa değerlendirmelerin maliyeti sistematik biçimde olduğundan daha düşük tahmin ettiği anlamına gelir.

Erişim ve güvenceler yeterli değil

İki yıllık bir randomize okul deneyi olan One Click Away: AI Tutoring with Khanmigo, 18 ortaokulda mütevazı matematik başarı kazanımları buldu. Ancak öğrenciler nadiren önemli öğretim konuşmalarına girdi. Yazarlar, kazanımların YZ olmadan yapılandırılmış alıştırmayla ilişkilendirilenlere benzediğini not etti. Müdahale bireyselleştirilmiş alıştırmayı YZ öğretimiyle birleştirdiğinden, YZ bileşeninin ek katkısını temiz biçimde izole etmedi. Yetenekli bir eğitmenin erişilebilir olması, öğrencilerin onu üretken biçimde kullanmasından farklıdır.

Daha yeni Making AI Tutoring Productive deneyi ilgili bir ders sunar. NUMI kullanan 6.000’den fazla ortaokul öğrencisi arasında, YZ desteği hatalardan sonra toparlanmayı iyileştirdi ama sorular arasındaki ilerlemeyi yavaşlattı. Üst üste üç doğruluk ustalık kuralı, platform tanımlı başarıyı artırdı ama tek başına bir hafta sonraki öğrenmeyi iyileştirmedi. En güçlü gecikmeli öğrenme sinyali, YZ ustalık iş akışının içine gömüldüğünde ortaya çıktı, ancak kazanımlar istatistiksel olarak yalnızca marjinal düzeyde anlamlıydı ve özellikle çalışılan materyallerde yoğunlaştı. Bu çalışma kâğıdı, dikkatle yapılandırılmış bir yaklaşım için öneri niteliğinde kanıt sunar, genel olarak kanıtlanmış bir reçete değil.

Öğrencilerin aracı nasıl kullandığı, yalnızca erişimi değil, sonucu belirler

Aynı teknoloji, etkileşimin nasıl yapılandırıldığına bağlı olarak farklı öğrenme üretir. Denetimsiz makale değerlendirmelerinde 38 lisans öğrencisinin nitel bir çalışmasında, katılım bilişsel dış kaynağa devretme ile bilişsel yeniden dağıtım — çabanın düşük düzeyli geri getirmeden kritik değerlendirmeye kaydırılması — arasında bir spektrumu kapsadı. Öğrencilerin çoğu (n = 31) üretken YZ’yi öğrenme yardımcısı olarak kullanmayı amaç etti, ancak %76,32’si tek turlu soru–cevap al–dur diyaloğuna dayandı ve %78,94’ü aracı görev boyunca değil, taslak öncesinde veya sonrasında kullandı; şemaları inşa eden bilişsel işin maliyetiyle elde edilen kolaylık biçiminde bir verimlilik paradoksu üretti ("onu unutma hızın da çok hızlıdır"). Yalnızca 8 öğrenci, sürdürülen yinelemeli diyalogoyla bilişsel ortak olarak çalıştı.

Pedagojik ders şudur: toptan izinler veya yasaklar her ikisi de öğrencileri tahminde bırakır. Davranışı değiştiren şey, öğrencilerin hangi bilişsel işi muhafaza etmek zorunda olduğuna ve hangi YZ yardımının uygun olduğuna ilişkin göreve özgü rehberlikti — Kursumda YZ ile Aldatmayı Nasıl Azaltabilirim? başlığında geliştirilen tasarım yönü.

Daha az çaba otomatik olarak daha az öğrenme anlamına gelmez

YZ’nin yalnızca öğrencileri daha çok çalıştırdığında veya asla eksiksiz bir örnek göstermediğinde yardımcı olduğu sonucuna varmak da bir hatadır.

Coach not crutch çalışmasında bildirilen ön kayıtlı deneylerde, YZ ile ön yazı mektuplarını gözden geçirme alıştırması yapan yetişkinler, daha az çaba harcamalarına rağmen sonrasında kendi başlarına alıştırma yapanlardan daha iyi YZ’siz yazı ürettiler. Faydalar bir gün sonraki izlemde de sürdü. Başka bir deney, YZ ile gözden geçirilmiş bir örneği incelemenin araçla alıştırma yapmakla karşılaştırılabilir faydalar ürettiğini buldu. Bunlar kısa, sınırlı yazma görevleriydi — her tür yazmada kalıcı iyileşmenin kanıtı değil — ama örneklerin öğrenmeyi destekleyebileceğini, mutlaka onun yerine geçmeyi gerektirmediğini gösteriyorlar.

Amaç bu nedenle azami zorluk değildir. Amaç, hedeflenen yetkinliği geliştiren öğrenme etkinliğini korumak veya iyileştirmektir.

Kalıp bilgi-işlem eğitiminde tekrar ediyor

A systematic review of 72 studies in computing education, en sağlam sonucunda aynı yapıyı bulur. Üretken YZ güvenilir biçimde kısa vadeli tamamlamayı artırır ve görev süresini azaltır (36 çalışma) ve derlemin hiçbir çalışması anlık performans üzerinde olumsuz bir etki belgelememiştir — ancak bu kazanımlar "bağımsız performansa aktarılmamaktadır" (21 çalışma). Codex destekli öğrenciler öğrenme sırasında iki kat fazla görev tamamladı ama YZ olmadan yapılan son testlerde denetim gruplarından daha iyi performans göstermedi. Önceki bilgi her şeyi yumuşatır: iyi hazırlanmış öğrenciler yardımı kalıcı beceriye dönüştürür, oysa yetersiz hazırlanmış öğrenciler onu ihtiyaç duydukları alıştırmayı ortadan kaldıran bir koltuk değneği olarak kullanma riski taşır. Derlemenin merkezi tasarım gereksinimi doğrulamadır — YZ çıktısını okuma, test etme, değiştirme, açıklama ve eleştirme — keyfi takdirde bırakılan bir özlem değil, işin notlandırılan, gözlemlenebilir bir bileşeni yapılmıştır.

Yararlı bir tasarım ilkesi: iskelele, ikame etme

Bilgi tabanının İskeleleme (Scaffolding) ve Active Learning sentezleri, öğrenenlerin anlamasına, alıştırma yapmasına, değerlendirmesine ve sonunda daha az yardımla performans göstermesine yardımcı olan desteği vurgular.

"Iskelele, ikame etme" yararlı bir ilkedir, ancak her YZ özelliğine mekanik biçimde değil, öğrenme hedefine uygulanması gerekir. Eksiksiz bir çözülmüş örnek, öğrencilerin öğrenebileceği bir şey olabilir; bir ipucu dizisi, düşünmeden tıkladıkları bir şeye dönüşebilir. Önemli olan ayrım, öğrenenin yardımla ne yaptığıdır. Bkz. Cognitive Offloading ve Yardım Arama.

Bağımsız yetkinlik geliştirmeyi amaçlayan bir etkinlik için makul bir başlangıç rutini şöyledir:

1. Öğrenenin düşünmesini ortaya koyun. Uygun bir örneğe ilişkin ilk bir deneme, tahmin, taslak, açıklama veya yorum isteyin.
2. Hedefli yardım sağlayın. Zorluk üzerinde bir ipucu, açıklama, karşıt örnek veya odaklı geri bildirim için YZ kullanın.
3. Yardıma bir yanıt şart koşun. Öğrenciden öneriyi kabul veya reddetmeyi açıklamasını, gözden geçirmesini, doğrulamasını veya gerekçelendirmesini isteyin.
4. Daha az destekle yeni bir uygulamayı kontrol edin. Öğrenciden benzer bir problemi çözmesini veya fikri farklı bir bağlamda uygulamasını isteyin.

Bu bir öğretim başlangıç noktasıdır, evrensel olarak doğrulanmış bir dizi değil. Desteğin miktarı ve zamanlaması öğrencilerin önceki bilgisini ve görevi yansıtmalıdır. Bkz. Reducing AI Misuse ve Prior Knowledge.

Muhafaza edilen düşünmeyi açık hale getirin

Matematik için bir eğitmen, öğrencilerden yardım istemeden önce çözüm denemelerini teslim etmelerini, ardından şöyle bir istek metni kullanmalarını isteyebilir: "Yeniden değerlendirmem gereken ilk adımı belirle, bana faydalı bir ipucu ver ve tekrar denememi iste." Sonraki kontrol, YZ’nin yanıtının yeniden üretilmesini değil, yeni bir çözüm ve bir açıklama gerektirmelidir. Bu, İskeleleme (Scaffolding) ve Yardım Arama başlığındaki rehberliği uygular.

Yazma için bir eğitmen, öğrencilerin YZ eleştirisini almadan önce taslağı rubriğe göre değerlendirmesini, ardından hangi önerileri kabul, değiştir veya reddettiklerini açıklamalarını sağlayabilir. Amaç argüman kurulumu ise, YZ tarafından üretilen düz yazı, öğrencinin bir argüman kurabildiğine dair kanıtın yerine geçmemelidir. Amaç alternatif gözden geçirmeleri değerlendirmek ise, eksiksiz örnekleri karşılaştırmak uygun olabilir. Bkz. Writing Education ve Feedback Literacy.

Bunlar kanıtların tasarım uygulamalarıdır. Yine de kurs içinde değerlendirilmeleri gerekir; pedagojik olarak makul göründükleri için işe yaradıkları varsayılmamalıdır.

Kursumda YZ’nin yardımcı olup olmadığını nasıl anlarım?

AI Ed Evaluation sayfası, YZ çıktısının kalitesini, öğrencilerin onu kullanma deneyimini ve öğrencilerin gerçek öğrenmesini ayırmanızı önerir. Pratik bir değerlendirme, bir memnuniyet anketinden veya ödev notlarının karşılaştırılmasından daha fazlasını gerektirir.

Önce yetkinliği belirtin. Etkinlikten sonra öğrencilerin neyi anlaması veya ne yapabilmesi gerektiğine karar verin. "Cilalanmış bir rapor üretmek", "uygun kanıt seçmek", "nedensel bir ilişkiyi açıklamak" veya "desteklenmeyen bir sonucu tespit etmek"ten farklıdır. Değerlendirme, geliştirmeyi amaçladığınız yetkinliği ortaya çıkarmalıdır. Bkz. Educational Measurement.

Önce, sonra ve daha sonra ölçün. Kısa bir taban çizgisi görevi, anında bir öğrenme kontrolü ve gecikmeli bir uygulama kullanın. Hem benzer bir görev hem de, uygun olduğunda, bağlamı değiştiren veya farklı bir uygulama gerektiren bir görev ekleyin. Amaç bağımsız yetkinlik olduğunda, o yetkinliği öğrencinin yerine gerçekleştirebilecek YZ yardımını kaldırın. Alıştırmadan hemen sonra yapılan başarılı bir kontrol faydalıdır, ancak aylar boyunca hatırlamayı veya alanlar arası aktarımı göstermez. Bkz. Learning Gains ve Transfer of Learning.

Anlamlı bir karşılaştırma kullanın. Uygun olduğunda, YZ destekli etkinliği benzer içerik, öğretim süresi ve alıştırma olanakları kullanan iyi tasarlanmış YZ dışı bir alternatifle karşılaştırın. Basit bir önce-sonra iyileşmesi, kazanımın YZ kaynaklı olduğunu gösteremez; öğrenciler öğretimin geri kalanı yoluyla iyileşebilir. Daha güçlü nedensel iddialar için, karşılaştırmayı tasarlarken Efficacy Research Methods kaynağına başvurun.

Öğrencilerin yardımı nasıl kullandığını gözlemleyin. Açıklamalar, hataları düzeltme girişimleri, gerekçelendirilmiş gözden geçirmeler ve doğrulama arayın — yalnızca girişler, mesaj sayıları veya tamamlanan sorular değil. Bu gözlemler bir sonucu açıklamaya yardımcı olabilir, ancak bir öğrenme ölçüsünün yerini almamalıdır. Bkz. Yardım Arama ve Student–AI Interaction.

Bir gösterge panosunun gerçekte ne ölçtüğünü kontrol edin. sekiz YZ öğretim ajanının bir değerlendirmesinde tıp eğitiminde, platformun kendi puanına göre ajan sıralamaları, uzman doğrulamalı bir öğretim kalitesi rubriğinden saptı — platform puanına göre üçüncü sıradaki ajan, rubrik kalitesinde sonuncu oldu — çünkü platform puanı ajanın öğretim davranışını değil, etkileşim sırasındaki öğrenci performansını izledi. Yerleşik bir ölçüt, doğrulanması gereken bir hipotezdir, öğrenmenin kanıtı değil. Böyle bir kontrolü inandırıcı kılan ölçütler ve karşılaştırma tasarımları için bkz. Bir Eğitmen YZ İle İlgili Müdahaleleri Değerlendirmek İçin Hangi Ölçütleri ve Araştırma Yöntemlerini Kullanabilir?.

Önemli bir niteleme şudur: her meşru öğrenme çıktısının YZ olmadan gösterilmesi gerekmez. Bir kurs, etkili YZ destekli çalışmayı kasıtlı olarak öğretebilir. Bu durumda, disiplinin gerektirdiği bağımsız temellerin yanı sıra, öğrencilerin YZ kullanımını seçme, doğrulama, gözden geçirme ve savunma yeteneğini değerlendirin. A Human Capability Test for Learning Outcomes in the AI Era, bağımsız yetkinlik, YZ ile güçlendirilmiş performans ve doğrulama sorumluluğu arasındaki bu ayrımı önermektedir. Bu kavramsal bir değerlendirme çerçevesidir, her kurs için doğrulanmış bir çözüm değil.

Kimlerin yararlandığını — ve faydanın bedelini — kontrol edin

Ortalama bir iyileşme, çok az yarar alan veya yeni engellerle karşılaşan öğrencileri gizleyebilir. Digital Divide sentezi, bir araca erişimi, onu kullanmak için gereken becerilerden ve nihayetinde elde edilen sonuçlardan ayırır.

Bir sınıf değerlendirmesi için, önceki bilgi, dil ihtiyaçları ve erişilebilirlik gereksinimleri gibi ilgili başlangıç noktalarına göre sonuçları inceleyin. Öğrencilerin faydalı geri bildirim alma ve değerlendirmeyi zaten bildiklerini varsaymak yerine rehberlik sağlayın. Bağımsız öğrenmeyi değerlendirirken, hedef düşünmeyi sağlayan yardımı kaldırın — göreve erişmek için gereken düzenlemeleri değil. Bkz. AI Literacy, Equity in AI Education ve Erişilebilirlik.

Öğrencilerin gerçekten aldığı geri bildirimi de inceleyin. Akıcı bir yanıt, güçlüklerini yanlış teşhis edebilir, bir hatayı pekiştirebilir veya farklı bir tür desteğin gerektiği yerde bir cevap sunabilir. Kursla uyumlu materyaller kullanın, insan yardımına bir yol tutun ve etkinliğin gerektirdiğinden fazla öğrenci bilgisi toplamaktan kaçının. Bu kaygılar doğrudan AI Feedback Quality, Pedagogical Safety ve Gizlilik ile bağlantılıdır.

Özetle

YZ öğrencilerin öğrenmesine yardımcı olabilir, ancak erişim, cilalanmış çıktı veya bir "eğitmen" etiketi bunu kanıtlamaz. Kanıt, öğrencilerin geliştirmesi beklenen yetkinliklerin ölçütlerini kullanarak belirlenmiş bir öğretim tasarımı, anlamlı bir alternatife karşı değerlendirildiğinde en güçlüdür. Uzun vadeli hatırlama, geniş aktarım ve öğrenenler ile ortamlar arası genelleme, önemli belirsizlikler olmaya devam etmektedir. Bkz. Limitations in AIEd Research.

Bir eğitmen için en yararlı soru şudur:

Bu YZ destekli etkinlikten sonra öğrencilerim daha önce yapamadıkları neyi anlayabilir, açıklayabilir, yargılayabilir veya yapabilir — ve o iyileşmeyi gösteren kanıt nedir?