SSS
Yükseköğretimde YZ Okuryazarlığı Müdahalelerine İlişkin Kanıtlar Nedir?
Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.
YZ okuryazarlığı müdahalelerine ve yükseköğretime ilişkin kanıtlar umut verici, ancak yöntemsel olarak hâlâ olgunlaşmamıştır. Bilgi tabanı boyunca en güçlü yinelenen bulgu, YZ okuryazarlığının — özellikle eleştiri, karşılaştırma, yansıtma ve iş birliğiyle — etkin, bağlama yerleştirilmiş YZ pratiği yoluyla, yalnızca araç gösterileri veya derslerden daha etkili biçimde geliştiğidir. Bununla birlikte, nispeten az sayıda çalışma kalıcı, bağımsız olarak gösterilmiş bir yetkinliği ölçmektedir; birçoğu öz bildirim, kısa süreli müdahaleler, gözlemsel karşılaştırmalar veya tasarım temelli araştırma üzerine dayanmaktadır.
Müdahale literatürü birkaç tasarım ilkesinde birleşmektedir.
Niceliksel genel tablo
59 ampirik çalışmanın üç düzeyli meta analizi (172 etki büyüklüğü, 7.211 katılımcı) alanın en net nicel tahminini sunmaktadır: YZ okuryazarlığı müdahaleleri genel olarak büyük bir etki gösterir (g = 0.837, p < .001) — ancak [−0.292, 1.966] aralığında geniş bir %95 tahmin aralığıyla, yani etkililik ortamlar arasında önemli ölçüde değişir ve tek tip biçimde genellenemeyebilir. İki aracı değişken anlamlı bulunmuştur: Doğu Asya ve Avrupa'daki müdahaleler Kuzey Amerika'dakilerden daha iyi performans göstermiştir ve bilgi odaklı müdahaleler, beceri, tutum veya etik odaklı olanlardan daha iyi performans göstermiştir. Karma veya yansıtıcı pedagojiler, GenAI destekli araçlar ve performans görevi sonuçları için daha büyük (ancak anlamlı olmayan) etkiler görülmüştür. Yazarlar, YZ okuryazarlığı eğitiminin bu nedenle bilgi ötesine, becerilere, uygulamalara, etiğe ve tutumlara — entegre ve yansıtıcı pedagojiler ve GenAI destekli araçlar yoluyla — yönelmesi gerektiğini ve kültürel olarak ilgili, bağlama duyarlı müdahalenin gerektiğini savunmaktadır.(AI Literacy Interventions in Education: A Meta-Analysis of Effects and Moderators)
Uygulayıcılar için iki sonuç önemlidir: (1) ölçtüğünüz sonuç, görünür etkiyi biçimlendirir — bilgi odaklı müdahaleler beceri, tutum veya etik odaklı olanlardan daha güçlü görünür, dolayısıyla gerçekten önemsediğiniz şeyi değerlendirin; ve (2) geniş tahmin aralığı, güçlü bir ortalamanın herhangi bir yerel ortamda güçlü bir etkiyi garanti etmediği anlamına gelir; bu, bağlama duyarlı tasarım gerekliliğini pekiştirir.
YZ'yi yalnızca çalıştırmak yerine eleştirmek
Lisans psikolojisinde Richmond ve Nicholls, öğrencilerden kurs değerlendirme ölçeğine (rubriğine) göre bir ChatGPT tarafından üretilen basın bültenini notlandırmalarını, hataları belirlemelerini ve metni düzeltmelerini istemiştir. Öğrenciler genel olarak çıktının üslup açısından oldukça olgunlaşmış olduğunu ancak araştırma amaçlarını, yöntemlerini ve bulgularını doğru biçimde temsil etmediğini fark etmiştir. Önceki Akran Değerlendirmesi kohortuna kıyasla, YZ eleştirisi kohortunun sonraki metin düzeltmesinde biraz daha iyi performans göstermiştir (d = 0.36), ancak son video üzerinde anlamlı bir avantaj yoktu.
Bu, eleştiri temelli YZ okuryazarlığı için cesaret verici kanıtlar sunmaktadır, ancak tarihsel karşılaştırma güçlü bir nedensel sonuca izin vermemektedir.
Disiplinler arası çalışmalarda YZ okuryazarlığını yerleştirmek
Beck ve Brodersen'in ekonomi yaklaşımında öğrenciler önce özgün bir ekonomi problemini kendileri çözer veya yorumlar, ardından ChatGPT'nin yanıtını alır, ikisini karşılaştırır, YZ'yi eleştirir, yansıtır ve akranlarıyla tartışır. Müdahale, YZ okuryazarlığını Think-Pair-Share gibi mevcut Etkin Öğrenme teknikleriyle birleştirmektedir.
Başlıca katkısı, güçlü deneysel öğrenme etkisi kanıtından ziyade aktarılabilir bir öğretim tasarımı sunmasıdır.
Kaynak: Fostering Generative AI Literacy in Economics.
Süregelen deneyimler, tek seferlik atölyeler yerine
NC State AI Literacy Continuum'u Not Yet Engaged ve Uncritical Use aşamalarından Informed Use, Critical Evaluation ve Improvement aşamalarına ilerlemeyi tanımlamaktadır. Uygulaması kurslar ve atölyeler boyunca 330'u aşkın katılımcıyı kapsamıştır.
Gözlemler, kısa süreli deneyimlerin öğrencileri bilgilendirilmiş kullanıma doğru hareket ettirebileceğini; oysa kritik değerlendirme ve iyileştirme kanıtlarının süregelen, disipline yerleştirilmiş deneyimlerde daha belirgin olduğunu göstermiştir. Ancak doğrulanmış bir öncesi/sonrası ölçümü veya karşılaştırma grubu yoktu, dolayısıyla bu nedensel olmaktan ziyade uygulamaya dayalı kanıttır.
İşbirlikçi ve bilişsel olarak etkin tasarımlar
Hingle ve Johri'nin sistematik derlemesi, YZ okuryazarlığı etkinliklerini ICAP çerçevesini kullanarak düzenlemektedir: pasif maruz kalma, etkin işleme, yapıcı üretme ve etkileşimli birlikte inşa etme. Derleme dört modun tamamında müdahaleler bulmakta ve YZ okuryazarlığını tek yönlü bir bilgilendirme oturumuna indirgemeye karşı çıkmaktadır.
Kanıtlar, öğrenciler için YZ çıktılarını akranlarıyla birlikte üretme, eleştirme, açıklama ve tartışma fırsatları tasarlamayı desteklemektedir.
Kaynak: Systematic Review of Collaborative Learning Activities for Promoting AI Literacy.
Öğretmen eğitimi: güven ile gösterilmiş yetkinlik karşılaştırması
Le ve arkadaşlarının tasarım temelli GenAI okuryazarlığı müdahalesi, 14 yüksek lisans öğrencisiyle pilot uygulaması yapılmış ve 29 Mesleki Gelişim öğrencisiyle değerlendirilmiştir; bildirilen YZ yetkinliği Öz Yeterlilik'sini artırmış ve GenAI'ye ilişkin daha kritik pedagojik değerlendirmelere yönelik kaymalar üretmiştir.
Ancak etik kazanımları yalnızca marjinal düzeyde anlamlı hale gelmiş ve küçük ölçekli tasarım temelli araştırma çalışması nedeniyle nesnel yetkinlikle ilgili sonuçlar sınırlı kalmaktadır.
Kaynak: Development and Evaluation of AI Literacy Training for Teacher Education Students.
YZ okuryazarlığı eğitimi, YZ kaynaklı hataları ortadan kaldırmaz
Özellikle önemli bir uyarı, öğrencilere YZ'yi daha iyi kullanma veya istek metni yazma becerisi kazandırmak, onları güvenilir biçimde kritik kullanıcılar haline getirmeye eşdeğer değildir. Bağlamsal-iltifatkârlık deneyinde, YZ okuryazarlığı ve istek metni yazma eğitimi, modelin katılımcıların akıl yürütme hatalarını yansıtma eğilimini azaltmış, ancak akımdaki hata yayılımını ortadan kaldırmamıştır.
Bu, okuryazarlık eğitiminin güvenlik yükünün tamamını taşıyamayacağını göstermektedir; araç tasarımı ve sistem düzeyinde güvenceler de gereklidir.
Kaynak: The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration.
YZ okuryazarlığını ölçmek önemlidir
Ölçüm literatürü bu uyarıyı pekiştirmektedir. Doğrulanmış GLAT performans testi, YZ destekli bir yükseköğretim görevindeki performansı öngörmüştür; oysa öz bildirime dayalı bir ChatGPT okuryazarlığı ölçütü öngörememiştir. Daha geniş ölçekte, bilgi tabanı insanların bildirdiği ile gösterdikleri YZ yetkinliği arasında önemli tutarsızlıklar bildirmektedir.
Sonuç olarak, güveni, tutumu veya algılanan okuryazarlığı artıran bir müdahale, otomatik olarak YZ okuryazarlığının kendisini iyileştirdiği şeklinde yorumlanmamalıdır. Bu, YZ okuryazarlığı müdahalelerini değerlendirirken eğitimde ölçme ve değerlendirme geçerliliği önemine işaret etmektedir.
Yeni çalışmalar hem ne ölçülmesi gerektiğini hem de nasıl ölçülmesi gerektiğini netleştirmektedir. Burriss ve arkadaşlarının YZ etiği hakkında video hizmet duyuruları hazırlayan 22 sekizinci sınıf öğrencisinin sınıf içi çalışması, mevcut YZ okuryazarlığı ölçeklerinin ve yetkinlik çerçevelerinin bireysel olarak ölçülebilir performansı varsaydığını ve dolayısıyla işbirlikçi ve yaratıcı ifadeyi dışladığını savunmakta; geleneksel ölçütleri tamamlayacak olarak öğrenci yansıtmaları, Çok Kipli YZ eserler ve toplumsal söylemi önermektedir. Öğrencilerin işbirlikçi kritik pedagoji yoluyla kritik YZ etiği anlayışı geliştirdiğine dair bulguları, YZ okuryazarlığının beceri listesi anlayışlarına — ve onlara bağlı olarak bu listeler üzerine kurulu ölçütlere — meydan okumaktadır. Aynı zamanda yol haritasının yönünü de göstermektedir: 18 birim sonu yanıtının 15'i yeni öğrenmeyi doğrulamıştır; yazarlar projenin geleneksel özetleyici değerlendirmeye dirençli olduğunu not etmektedir. Bkz. Multimodal composition as a form of critical AI literacy pedagogy.
Ayrı bir uyarı kabul araştırmalarından gelmektedir. Wang, Chuang ve Wu, yaş kademeli bir YZ okuryazarlığı kılavuzuyla yaklaşık 30 dakika geçirdikten sonra 831 Tayvanlı K-12 öğrenci ve öğretmeni anketlemiş ve istikrarlı dört faktörlü bir kabul yapısı bulmuştur — ancak algılanan eğlencelik davranışsal niyetin en güçlü ilişkili değişkeni olmuş ve çalışma kısa vadeli kabulü ölçmüştür, öğrenme kazanımlarını, etik yetkinliği veya gerçek kullanımı değil. Yazarlar kabul yapılarının "öğrenme etkililiğini veya uygulama başarısını çıkarsamak için kullanılmaması gerektiğini" açıkça belirtmektedir. Bkz. Measuring acceptance of age-tiered AI literacy guidebooks.
Kaynaklar:
- GLAT: The Generative AI Literacy Assessment Test
- AI Literacy Assessment: Self-Reported vs Performance Misalignment
Teşhis önce öğretim: öğrencilerin mevcut YZ algısı
Bir müdahalenin nerede başladığı, içeriği kadar önemlidir. Şan ve Orhan Karsak, 436 Türk üniversite öğrencisinin (1.376 kodlanmış yanıt, değerlendirici arası κ = 0.87) YZ'ye ilişkin bilişsel temsillerini haritalamak için psikodilbilimsel bir Kelime İlişkilendirme Testi kullanmıştır. İlişkilendirmeler araçsal fayda çevresinde kümelenmiştir — kolaylık (f = 145) ve hız (f = 110) — oysa algoritmik şeffaflık, gizlilik ve YZ Yönetişimi kavramları yalnızca nadir değil, baskın fayda kümesinden yapısal olarak izole olmuştur (Kendall'ın τ = −0.819). Yazarlar, etik modülünü alabilecek hiçbir şema içermeyen bir bilişsel mimariye sunmanın muhtemelen başarısız olacağını savunmaktadır: müfredatların gündelik araç bilgisinden etik ve yönetişim çerçevelerine açık köprüler inşa etmesi gerekir ve mikro kimlik belgelendirmeler, öğrencilerin zaten bildiklerini yeniden üretmek yerine bu yapısal boşluğu kapatacak biçimde içerik sıralamalıdır. Bu, müdahale tasarımı için bir ihtiyaç değerlendirmesi argümanıdır ve öğretimden önce veriye dayalı bir teşhis sunan sayılı çalışmalardan biridir. Bkz. Knowing its name, not its nature.
Zıt bir bağlama yerleştirilmiş görüş, araştırma iş akışında YZ okuryazarlığını farklı biçimde uygulayan 28 lisansüstü araştırmacıyla yapılan Dai ve Chan'in yedi odak grup çalışmasından gelmektedir — düşük riskli prosedürel görevlerde (biçimlendirme, çeviri, açıklama) daha yoğun kullanım, bilimsel katkının söz konusu olduğu yerlerde belirgin biçimde daha fazla tedbir — ve muhakemelerine yardım etme ile onun yerine geçme arasında kendi sınırlarını çizmişlerdir. Sonuçları, YZ okuryazarlığının statik bir yetkinlik listesinden ziyade bağlama yerleştirilmiş bir kapasite olarak ele alınmasının daha iyi olacağı ve sorumlu kullanım kılavuzlarının ikili kurallar dayatmaktansa her bir okuryazarlık boyutunu gerçek görevler üzerinden iskelelemesi (kademeli destek) gerektiğidir. Bkz. Shaping responsible GenAI use in research through AI literacy-oriented guidelines.
Sertifikalar ve program düzeyinde değerlendirme
YZ okuryazarlığı giderek artan biçimde sertifika ve mikro kimlik belgelendirmeleri yoluyla sunulmakta olup değerlendirmenin en zayıf olduğu yer burasıdır. Wu ve Li, YZ sertifika programları için uzman ağırlıklı bir değerlendirme gösterge sistemi (Monte Carlo sağlamlık doğrulamalı AHP / Bulanık-AHP, 18 uzman) oluşturmuş ve akademik personelin mesleki yetkinliğinde en büyük önem–memnuniyet boşluğunu bulmuştur — yüksek algılanan önem (0.1976) karşısında düşük mevcut memnuniyet — bu da pedagojik dönüşüm üzerindeki temel kısıtın teknolojik altyapı değil, personel kapasitesi olduğunu ortaya koymaktadır; kültürler arası uyarlanabilirlik en düşük stratejik ağırlığı (0.0735) almış olup bu da erken dönem kimlik belgelendirmesinde teknoloji öncelikli bir yanlılığı işaret etmektedir. Bkz. Evaluation indicator system for AI certificate programs. Bu, müdahale literatürünün neredeyse hiç sınamadığı bir soruyu öne çıkarmaktadır: bir sertifikanın kalıcı bir YZ okuryazarlığı belgelendirip belgelendirmediği, yoksa yalnızca tamamlanmayı mı kaydettiği ve bunu sunan eğitimcilerin kendilerinin bunu değerlendirmeye donanımlı olup olmadığı.
Kanıtların genel değerlendirmesi
Genel olarak kanıtlar öğretim tasarımı ilkeleri açısından orta, nedensel etkililik açısından ise hâlâ zayıf ila orta düzeyde olarak nitelendirilebilir.
Yükseköğretim için hâlihazırda en savunulabilir model:
- YZ okuryazarlığını özgün disiplin içi görevlerin içine yerleştirmek.
- Öğrencilerin YZ'ye danışmadan önce ilk bir yargı veya çözüm oluşturmasını sağlamak.
- YZ çıktılarının karşılaştırılmasını, doğrulanmasını ve eleştirilmesini gerektirmek.
- Akran diyaloğunu ve yansıtmayı içermek.
- Bu deneyimleri yalnızca tek seferlik atölyelere güvenmek yerine zaman içinde yinelemek.
- Öğrencileri yalnızca güven veya öz bildirim anketlerine güvenmek yerine bağımsız değerlendirme ve sorumlu yargı gerektiren performansa dayalı görevlerle değerlendirmek.
Önemli boşluklar kalmaktadır. Literatürde hâlâ daha fazla çok kurumlu rastgele veya güçlü yarı-deneysel çalışmalar, doğrulanmış ortak sonuç ölçütleri, akılda tutma ve aktarımın gecikmeli testleri ve okuryazarlık kazanımlarının öğrenciler yeni YZ modelleri, disiplinler veya tanıdık olmayan YZ hata biçimleriyle karşılaştığında kalıcı olup olmadığına dair kanıtlar gerekmektedir.
Kısacası, mevcut kanıtlar YZ okuryazarlığını YZ hakkında bilgi veya istek metni yazmada yeterlilikten ziyade disipline yerleştirilmiş kritik bir uygulama olarak ele almayı desteklemektedir. Eleştiri, karşılaştırma, yansıtma, iş birliği ve yinelenmiş özgün uygulama için öğretimsel gerekçe giderek daha tutarlı hale gelmektedir; ancak belirli müdahalelerin kalıcı ve aktarılabilir YZ okuryazarlığı ürettiğine dair kanıtlar daha az kökleşmiştir. Bu sonucun somut kurs tasarımına nasıl dönüştüğü için bkz. How should I incorporate AI literacy into my course?; kanıt tabanının kendisinin ince kaldığı yerler için bkz. What are notable gaps in the research literature on AI in Education?.