Apa buktinya tentang intervensi literasi AI di pendidikan tinggi?

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Kantor provost menginginkan capaian literasi AI di setiap program sarjana pada musim gugur mendatang, dan rencana yang ada di meja adalah lokakarya dua jam plus satu modul tutorial perpustakaan. Atau sebuah hibah telah mendanai “literasi AI” di institusi Anda dan rapat komite pertama membahas apa yang akan dibeli dengannya. Seseorang di ruangan itu akan bertanya apa yang dapat dilakukan siswa setelahnya, dan yang menentukan jawabannya adalah argumen desain.

Jawaban untuk ruangan itu, dan keadaan buktinya di pendidikan tinggi, adalah ini: literasi tumbuh ketika siswa mengritik keluaran AI di dalam tugas disipliner yang nyata, berulang kali, bersama teman sebaya, dan paling sedikit tumbuh ketika mereka hanya diperlihatkan apa yang dilakukan alat itu. Efek rata-rata di seluruh literatur intervensi besar; sebaran di sekitar rata-rata itu lebih lebar lagi, sehingga desain Anda lebih menentukan daripada topik Anda. Survei kepercayaan mengukur penerimaan. Jika Anda ingin mengklaim literasi, ujilah kinerja.

Versi singkat

1. Letakkan literasinya di dalam mata kuliah yang sudah diambil siswa, pada pekerjaan yang sudah dinilai.

2. Minta mereka berkomitmen pada jawaban sendiri sebelum melihat jawaban model.

3. Nilai kritiknya, dengan rubrik yang sudah Anda pakai untuk tugas itu.

4. Jalankan lebih dari sekali sepanjang semester.

5. Hitung tugas kinerja sebagai bukti Anda, dan simpan perolehan kepercayaan sebagai baris terpisah.

Bangun urutannya di sekitar sebuah kritik

Contoh kelas terkuat dalam basis pengetahuan datang dari psikologi sarjana. Richmond dan Nicholls meminta siswa menilai siaran pers yang dihasilkan ChatGPT terhadap rubrik mata kuliah mereka sendiri, menamai kesalahannya, dan merevisinya. Siswa umumnya melihat bahwa prosanya rapi dan bahwa isinya salah menggambarkan tujuan, metode dan temuan penelitian. Dibandingkan kohort penilaian sebaya sebelumnya, kelompok kritik AI sedikit lebih baik pada revisi naskah yang menyusul (d = 0,36), tanpa keunggulan signifikan pada video akhir (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Literatur tempat contoh-contoh ini berasal bersandar pada intervensi singkat, laporan diri, dan kerja berbasis desain, dan studi ini membawa dua dari batasan itu. Perbandingannya historis, sehingga kohort yang lebih siap akan menghasilkan pola yang sama. Keunggulannya juga muncul pada artefak antara dan lenyap pada artefak jadi, yang memang dapat diharapkan jika kritiknya mengajarkan revisi.

Beck dan Brodersen membangun gerakan yang sama ke dalam mata kuliah ekonomi: siswa memecahkan atau menafsirkan masalah autentik sendiri, lalu memperoleh respons ChatGPT, membandingkan keduanya, mengritik AI, berefleksi, dan berdiskusi dengan teman sebaya. Desain mereka melipat literasi AI ke dalam rutinitas pembelajaran aktif yang sudah dijalankan mata kuliah itu, seperti Think-Pair-Share. Sumbangannya adalah desain pembelajaran yang dapat dipindahkan, didukung pemakaian di kelas alih-alih eksperimen (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Letakkan di dalam mata kuliah yang sudah diambil siswa

Tinjauan sistematis Hingle dan Johri memilah aktivitas literasi AI dengan kerangka ICAP: paparan pasif, manipulasi aktif, generasi konstruktif, dan ko-konstruksi interaktif. Intervensi muncul di keempat mode, dan tinjauan itu berargumen menentang pereduksian literasi AI menjadi sesi informasi satu arah (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Praktik yang didukungnya adalah yang dapat Anda bangun ke dalam tugas: siswa menciptakan, mengritik, menjelaskan dan mendebat keluaran AI bersama teman sebaya.

AI Literacy Continuum NC State menggambarkan perkembangan dari Not Yet Engaged dan Uncritical Use melalui Informed Use, Critical Evaluation, dan Improvement, dan diterapkan pada lebih dari 330 peserta di berbagai mata kuliah dan lokakarya (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Pengamatannya menunjukkan perpecahan: pengalaman singkat menggerakkan siswa ke arah pemakaian yang terinformasi, sementara evaluasi kritis dan perbaikan muncul terutama dalam kerja yang berkelanjutan dan tertanam di dalam disiplin. Tidak ada ukuran pra/pasca yang tervalidasi dan tidak ada kelompok pembanding, sehingga ini bukti berbasis praktik.

Pendidikan guru menunjukkan langit-langit yang sama dari sudut berbeda. Intervensi berbasis desain Le dkk. dirintis dengan 14 mahasiswa magister dan dievaluasi dengan 29 mahasiswa pendidikan guru. Efikasi diri kompetensi AI yang dilaporkan naik dan siswa bergeser ke arah pertimbangan pedagogis GenAI yang lebih kritis, sementara perolehan etika hanya mencapai signifikansi marginal. Studi berbasis desain sekecil itu tidak dapat menetapkan kompetensi (Development and evaluation of artificial intelligence literacy training for teacher education students).

Ukur apa yang dapat dilakukan siswa

Sebuah meta-analisis tiga tingkat atas 59 studi (172 ukuran efek, 7.211 peserta) memberi perkiraan kuantitatif paling jelas yang tersedia: efek keseluruhan yang besar (g = 0,837, p < 0,001). Interval prediksi 95% membentang dari -0,292 sampai 1,966, dan itulah angka yang perlu dikutip ketika seseorang bertanya apakah intervensinya akan berhasil di program Anda. Dua moderator signifikan. Intervensi di Asia Timur dan Eropa mengungguli yang di Amerika Utara, dan intervensi yang berfokus pada pengetahuan mengungguli yang menyasar keterampilan, sikap atau etika. Efek yang lebih besar tetapi tidak signifikan muncul untuk pedagogi campuran atau reflektif, alat yang didukung GenAI, dan hasil berupa tugas kinerja.

Penulisnya membaca hasil mereka sendiri sebagai argumen untuk bergerak melewati pengetahuan menuju keterampilan, praktik, etika dan sikap, melalui pedagogi reflektif terpadu dan desain yang relevan secara kultural. Bagi sebuah komite, dua implikasi yang bekerja. Hasil yang Anda ukur membentuk efek yang Anda temukan, jadi pilihlah hasil yang benar-benar Anda pedulikan. Interval prediksi selebar itu berargumen untuk uji coba lokal.

Pengukuran adalah tempat sebagian besar klaim program gagal. Tes kinerja GLAT yang tervalidasi memprediksi kinerja pada tugas pendidikan tinggi berbantuan AI. Ukuran literasi ChatGPT yang dilaporkan sendiri tidak (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). Di seluruh basis pengetahuan, kompetensi AI yang dilaporkan dan yang didemonstrasikan menyimpang cukup jauh, yang menjadikan pengukuran pendidikan dan validitas penilaian bagian dari desain alih-alih renungan sesudahnya dalam evaluasi.

Burriss dkk. mempertajam apa yang dihitung. Studi mereka atas 22 siswa kelas sebelas yang menyusun pengumuman layanan publik berbentuk video tentang etika AI berargumen bahwa skala literasi dan kerangka kompetensi yang ada mengasumsikan kinerja yang dapat diukur secara individual, yang mengecualikan ekspresi kolaboratif dan kreatif. Mereka mengusulkan refleksi siswa, artefak multimoda, dan wacana kewargaan sebagai pelengkap ukuran konvensional. Siswa mereka mengembangkan pemahaman etika AI yang kritis melalui pedagogi kritis kolaboratif, dan itu menantang konsepsi literasi sebagai daftar keterampilan beserta instrumen yang dibangun di atasnya. Lima belas dari 18 respons akhir unit menegaskan pembelajaran baru, dan penulisnya mencatat bahwa proyek itu menolak penilaian sumatif tradisional ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Ukuran penerimaan adalah jebakan tersendiri. Wang, Chuang dan Wu menyurvei 831 siswa dan guru K-12 Taiwan setelah sekitar 30 menit dengan buku panduan literasi AI berjenjang usia dan menemukan struktur penerimaan empat faktor yang stabil. Kegembiraan yang dipersepsikan adalah korelat terkuat niat berperilaku. Studi itu mengukur penerimaan jangka pendek, bukan perolehan belajar, kompetensi etis, atau pemakaian aktual, dan penulisnya menyatakan bahwa konstruk penerimaan “tidak boleh dipakai untuk menyimpulkan efektivitas pembelajaran atau keberhasilan implementasi” (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Rencanakan kesalahan yang tidak akan diperbaiki pengajaran

Melatih siswa untuk memberi prompt atau memakai AI dengan lebih baik tidak membuat mereka menjadi pemakai kritis yang andal. Dalam eksperimen sikofansi kontekstual, pelatihan literasi AI dan perumusan prompt memangkas seberapa sering model mencerminkan kesalahan penalaran peserta, dan penjalaran kesalahan ke hilir tetap bertahan setelah pelatihan (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Bacalah itu sebagai batas atas apa yang dapat dijanjikan sebuah mata kuliah. Pendidikan literasi tidak dapat memikul seluruh beban keselamatan, dan program yang mengklaim demikian telah memindahkan risikonya alih-alih menghilangkannya. Desain alat dan pengaman tingkat sistem tetap ada dalam rencana.

Mulailah dari tempat siswa Anda sudah berada

Şan dan Orhan Karsak memakai Word Association Test psikolinguistik dengan 436 mahasiswa sarjana Turki (1.376 respons terkode, kesepakatan antarpenilai κ = 0,87) untuk memetakan bagaimana siswa merepresentasikan AI. Asosiasi berkelompok di sekitar kegunaan instrumental, dengan kemudahan (f = 145) dan kecepatan (f = 110) mendominasi. Transparansi algoritmik, privasi dan konsep tata kelola jarang muncul, dan terisolasi secara struktural dari kelompok kegunaan itu (τ Kendall = -0,819). Argumen mereka menyusul: modul etika yang disampaikan ke dalam struktur kognitif tanpa skema untuk menerimanya kemungkinan besar akan gagal. Kurikulum perlu jembatan eksplisit dari pengetahuan alat sehari-hari ke kerangka etika dan tata kelola, dan kredensial mikro sebaiknya mengurutkan isinya untuk menutup kesenjangan itu alih-alih mengulang apa yang sudah diketahui siswa (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

Uraian situatif datang dari tujuh kelompok fokus Dai dan Chan dengan 28 peneliti pascasarjana, yang memakai AI secara tidak merata di sepanjang alur kerja penelitian. Pemakaiannya lebih berat pada kerja prosedural berisiko rendah seperti pemformatan, penerjemahan dan penjelasan, dan jauh lebih hati-hati ketika kontribusi ilmiah menjadi taruhannya. Peserta menarik batas mereka sendiri antara membantu dan menggantikan penalaran mereka. Penulisnya memperlakukan literasi AI sebagai kapasitas situatif alih-alih daftar kompetensi yang statis, dan merekomendasikan perancah untuk setiap dimensinya di sepanjang tugas nyata alih-alih menegakkan aturan biner (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Periksa kredensialnya sebelum Anda memberikannya

Sertifikat dan kredensial mikro adalah tempat literasi AI disampaikan dalam skala besar dan tempat evaluasinya paling tipis. Wu dan Li membangun sistem indikator berbobot ahli (AHP dan Fuzzy-AHP dengan pemeriksaan Monte Carlo, 18 ahli) untuk program sertifikat AI. Kompetensi profesional fakultas menunjukkan kesenjangan kepentingan-kepuasan terbesar, dengan kepentingan yang dipersepsikan tinggi (0,1976) berbanding kepuasan saat ini yang rendah. Data mereka menempatkan kapabilitas fakultas di depan infrastruktur teknologi sebagai kendala utama perubahan pedagogis. Kemampuan beradaptasi lintas budaya memperoleh bobot strategis terendah (0,0735), yang mereka baca sebagai bias mengutamakan teknologi dalam kredensial awal (Evaluation Indicator System for AI Certificate Programs).

Pertanyaan yang menyusul adalah yang perlu Anda ajukan kepada program Anda sendiri: apakah kredensial itu mensertifikasi literasi yang tahan lama, atau mencatat kehadiran? Dan apakah orang-orang yang mengajarkannya diperlengkapi untuk menilai?

Apa yang salah dipahami audiens ini

Lokakarya adalah kurikulum. Pengamatan Continuum menempatkan evaluasi kritis dan perbaikan dalam kerja yang berkelanjutan dan tertanam di dalam disiplin, dan Le dkk. menggeser efikasi diri tanpa menetapkan kompetensi.

Kepercayaan diri adalah proksi literasi. Hasil GLAT langsung: tes kinerja memprediksi kinerja tugas dan ukuran laporan diri tidak.

Efek rata-rata yang besar berarti programnya akan berhasil di sini. Dengan interval prediksi dari -0,292 sampai 1,966, rata-rata itu menggambarkan bidangnya; kohort Anda berada di suatu tempat di dalam rentang itu.

Pelatihan literasi membuat siswa menjadi pemakai yang aman. Dalam eksperimen sikofansi, pelatihan mengurangi pencerminan dan membiarkan penjalaran kesalahan tetap utuh.

Literasi adalah satu keterampilan yang berpindah antaralat. Dai dan Chan menemukan para peneliti menarik batas yang berbeda di bagian yang berbeda dari satu alur kerja yang sama.

Apa yang akan kembali kepada Anda

“Tidak ada ruang dalam kurikulum.” Tambahkan kritiknya ke tugas yang sudah Anda nilai, seperti cara Beck dan Brodersen melipatnya ke dalam rutinitas pembelajaran aktif yang sudah ada. Mata kuliah terpisah lebih mahal dan mengajarkan hal yang sama.

“Siswa kami tumbuh dengan teknologi ini.” Keakraban dengan alatnya adalah yang diukur Şan dan Orhan Karsak: kemudahan dan kecepatan, dengan privasi dan tata kelola terlepas secara struktural. Kefasihan memakai sesuatu bukanlah memahaminya.

“Beri kami ukuran efeknya saja.” g = 0,837, p < 0,001, dari 59 studi, dengan interval prediksi 95% dari -0,292 sampai 1,966. Angka kedua itulah yang mengatur keputusan Anda.

“Kami akan menyurvei siswa pada akhir semester.” Maka Anda telah mengukur penerimaan. Wang dkk. menyatakan secara eksplisit apa yang tidak dapat didukungnya, pada sampel 831 orang.

“Kredensial adalah mekanisme akuntabilitasnya.” Wu dan Li menemukan kompetensi fakultas sebagai kendala pengikat, dan kemampuan lintas budaya berbobot paling rendah. Sertifikat mencatat bahwa seseorang telah menyelesaikan sesuatu.

“Fakultas kami belum siap mengajarkan ini.” Buktinya setuju. Kapabilitas fakultas adalah kesenjangan terbesar dalam data Wu dan Li, dan tidak ada studi di halaman ini yang menguji cara menutupnya.

Yang perlu dilakukan pekan ini

1. Pilih satu tugas yang dinilai dan tambahkan langkah ketika siswa menghasilkan jawaban sendiri sebelum berkonsultasi dengan AI.

2. Tulis prompt kritiknya terhadap rubrik Anda yang sudah ada, sehingga siswa menilai keluarannya dengan standar yang sudah Anda pakai.

3. Jadwalkan putaran kedua aktivitas yang sama di kemudian hari pada semester itu, di mata kuliah yang sama.

4. Ganti satu pertanyaan kepercayaan diri pada akhir semester dengan butir kinerja singkat, dan beri skornya.

5. Tanyakan kepada pemilik kredensial mikro Anda bukti kompetensi apa yang akan diterimanya, dan dapatkan jawabannya secara tertulis.

Ke mana selanjutnya

Bagaimana saya memasukkan literasi AI ke dalam mata kuliah saya? membawa pertanyaan desainnya ke perencanaan mata kuliah. Literasi AI memuat konsep dan perdebatan pengukurannya, dan halaman kesenjangan penelitian membahas di mana literatur ini masih tipis.