Bagaimana Saya Mendesain Ulang Penilaian agar Nilai Masih Memberi Bukti yang Dapat Dipertahankan tentang Apa yang Diketahui atau Dapat Dilakukan Siswa?

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Anda mungkin sedang memegang tugas yang berhasil selama bertahun-tahun dan kini mengembalikan pekerjaan yang tidak dapat Anda pertahankan. Nilainya mengatakan A; artefaknya mungkin sebagian besar hasil alat. Atau seorang siswa mempersoalkan nilai rendah atas dasar yang tidak dapat Anda periksa, atau program Anda sedang menulis ulang kebijakan penilaiannya dan bertanya apa yang harus berubah di mata kuliah Anda pada semester berikutnya.

Jawaban singkatnya: putuskan tentang apa nilai itu seharusnya menjadi bukti, sertakan setidaknya satu langkah dalam tugas yang diselesaikan siswa tanpa alat, dan buat rubrik membayar penalarannya dan bukan hanya produknya. Redesain yang melewati langkah kedua dan ketiga mengubah cara pekerjaan dihasilkan tanpa mengubah apa yang dapat didukung oleh nilai.

Versi singkat

1. Tuliskan kemampuan mana yang diwakili oleh nilai. Kemandirian, penggunaan AI yang tepat, atau kemampuan mengarahkan dan menilai AI adalah tiga konstruk yang berbeda, dan satu artefak tidak dapat menjadi bukti ketiganya.

2. Tambahkan satu langkah terautentikasi pada setiap tugas bertaruh tinggi: pemeriksaan lisan singkat, penerapan di kelas, demonstrasi langsung, atau rasional beranotasi. Satu biasanya cukup.

3. Tetapkan batas AI per langkah tugas, bukan per mata kuliah. Daftarlah apa yang dilakukan siswa pada setiap langkah dan tanyakan secara spesifik apa yang Anda nilai di sana.

4. Masukkan bukti proses ke dalam rubrik dengan poin yang sungguh berarti. Jika rubrik masih hanya memberi ganjaran pada artefak, siswa akan mengoptimalkan artefaknya.

5. Berasumsilah tentang siswa yang paling tergoda menyembunyikan, bukan yang paling teliti, dan periksa pilihan mana yang paling dimudahkan oleh aturan Anda.

Tentukan tentang apa nilai itu menjadi bukti

Mulailah dengan menyatakan secara eksplisit kemampuan apa yang seharusnya diwakili oleh nilai. Apakah Anda menilai apa yang dapat dilakukan siswa secara mandiri, apa yang dapat mereka capai secara tepat dengan AI, kemampuan mereka mengevaluasi dan mengarahkan AI, atau kombinasi dari semuanya? Validitas Penilaian dalam basis pengetahuan ini memperlakukan hal ini sebagai masalah validitas: artefak yang rapi tidak lagi menjadi bukti yang memadai bahwa siswa memiliki kemampuan yang tampak ditunjukkan oleh artefak itu. Ini separuh sisi penilaian dari argumen yang sama; separuh sisi penegakannya ada di mengurangi kecurangan AI, dan kerangka validitas umumnya berjalan melalui mengevaluasi intervensi AI.

Nyatakan jawabannya di silabus, di lembar tugas, dan di rubrik. Siswa membaca tiga dokumen dan menaati yang paling spesifik. “Penggunaan AI diizinkan dengan pengakuan” bukan pernyataan tentang apa yang Anda ukur, dan kalimat itu tidak memberi siswa cara untuk mengetahui apakah penggunaan yang diizinkan merongrong hal yang Anda nilai.

Risiko substitusi konstruk

Artikel Dari Produk Autentik ke Proses Terautentikasi menyebut risiko yang dihasilkan sebagai substitusi konstruk: penilai mengatribusikan produk yang dimediasi AI kepada siswa dan tanpa sengaja mengukur kemampuan alat itu dan bukan kemampuan siswa. Respons yang direkomendasikannya adalah menjadikan penalaran, pertimbangan, verifikasi, iterasi, dan tanggung jawab siswa terlihat melalui pendekatan seperti pengumpulan bertahap, rasional keputusan beranotasi, catatan proses, pernyataan penggunaan umpan balik, pembelaan lisan, dan bentuk lain bukti proses terautentikasi.

Daftar itu adalah menu, dan butir mana yang paling murah bergantung pada ukuran kelas Anda. Untuk kelas berisi 25 orang, pemeriksaan lisan lima menit per siswa per tugas besar kira-kira dua jam penilaian yang mungkin sudah Anda keluarkan. Untuk kuliah berisi 300 orang, pengumpulan bertahap dan rasional beranotasi dapat diskalakan sedangkan pembelaan lisan tidak, dan pemeriksaan lisan berbasis sampel atas pekerjaan yang tampak anomali adalah yang tetap praktis. Pilih opsi yang masih dapat Anda jalankan pada pekan kesepuluh.

Sertakan satu langkah terautentikasi di setiap tugas

Dalam praktik, arsitektur penilaian yang kuat sering menggabungkan tugas autentik yang memungkinkan AI dengan semacam verifikasi mandiri. Tergantung disiplinnya, itu dapat mencakup penjelasan lisan singkat, penerapan di kelas, demonstrasi langsung, portofolio beranotasi, komponen singkat tanpa bantuan, atau pertanyaan tentang keputusan kunci.

Konsep Penilaian Autentik juga menekankan kerja intelektual yang realistis, tantangan kognitif, agensi siswa, umpan balik, dan keautentikan sosial atau profesional. Memperkuat tugas terhadap AI tanpa membuatnya lebih layak dikerjakan hanya menyisakan penilaian yang sama dengan tambahan pekerjaan.

Telusuri tugas langkah demi langkah dan tetapkan batasnya di sana

Metode tingkat tugas yang membuat hal ini dapat dikelola adalah metode yang didokumentasikan McCorkle: daftar setiap langkah yang dilakukan siswa, tanyakan pada setiap langkah “apa, secara spesifik, yang saya nilai?”, dan turunkan batas AI dari jawabannya, yang juga merupakan cara harapan di balik mengurangi kecurangan AI menjadi eksplisit dan dapat ditegakkan.

Jalankan sekali pada tugas Anda yang paling diperdebatkan dan tuliskan hasilnya ke dalam lembar tugas. Hasil yang khas terpisah dengan rapi: langkah pencarian dan penulisan draf di awal adalah tempat konstruk berada dan tempat alat itu merusak, sementara pemformatan, pemeriksaan rujukan, dan penyuntingan bahasa adalah langkah di mana penggunaan alat tidak terlihat pada konstruk Anda dan mungkin seharusnya diizinkan sepenuhnya. Izin menyeluruh dan larangan menyeluruh sama-sama gagal karena jawabannya memang berbeda menurut langkah.

Buat rubrik membayar prosesnya

Mohamed dan Temimi membingkai ulang masalah yang sama sebagai masalah informasi yang tidak sempurna dan bukan masalah moral: siswa mengetahui bagaimana pekerjaan itu dihasilkan dan institusi hanya melihat artefak ditambah jejak sebagian, sehingga pertanyaan desainnya menjadi respons siswa mana yang paling menarik dalam setiap lingkungan penilaian. Model wilayah respons mereka membandingkan tiga pilihan, tanpa penggunaan AI, penggunaan yang diungkapkan, dan penggunaan tersembunyi, dan menunjukkan bahwa aturan, pemantauan, pengungkapan, dan redesain bekerja melalui saluran yang berbeda dan berhasil hanya ketika respons yang paling menarik selaras dengan tujuan penilaian.

Dua hasil berkaitan langsung dengan arsitektur. Penangkalan berjalan melalui daya beda detektor antara penggunaan tersembunyi dan pekerjaan yang sah, bukan melalui tingkat tangkapan mentahnya, sehingga ketika positif palsu naik lebih cepat daripada positif benar, pemantauan yang lebih kuat justru dapat membuat penyembunyian relatif lebih menarik. Dan redesain menggerakkan siswa menuju penggunaan yang bertanggung jawab hanya ketika rubrik benar-benar memberi ganjaran pada bukti proses; jika tidak, redesain itu tetap kosmetik. Aturan praktis mereka adalah mendesain untuk siswa yang paling tergoda menyembunyikan dan bukan yang paling teliti.

Jika satu paragraf rasional, catatan revisi, atau refleksi atas saran AI yang ditolak tidak membawa poin, paragraf itu akan ditulis dalam lima menit dan tidak dibaca siapa pun. Berikan bobot yang cukup pada bukti proses sehingga siswa yang melewatinya kehilangan lebih banyak daripada yang mereka peroleh dengan melewatinya, dan gambarkan seperti apa bukti proses yang baik dengan kekhususan yang sama seperti yang Anda gunakan untuk produknya.

Variasi tugas per siswa bergantung pada kemampuan, tidak gratis

Satu arsitektur tanpa pengawasan yang populer adalah variasi tugas per siswa, di mana setiap peserta ujian memperoleh versi tugas yang sama yang berbeda di permukaan tetapi setara secara konstruk sehingga jawabannya tidak dapat dibagikan secara berguna. VARIA, sebuah tolok ukur atas 600 varian yang dihasilkan di 60 sel kondisi, menemukan model mutakhir mengelompok rapat pada skor integritas gabungan (0,81-0,88) sementara acuan non-mutakhir turun ke 0,50-0,55, dan bahwa tidak ada satu strategi prompting pun yang mengoptimalkan keragaman permukaan dan kesetaraan konstruk sekaligus. Variasi dalam skala besar tidak dapat diasumsikan hanya dari prompting, sehingga institusi harus memvalidasi pasangan model dan prompt miliknya sendiri sebelum menganggap jaminan itu nyata.

Untuk keputusan tingkat mata kuliah, itu berarti satu uji sebelum Anda berkomitmen: hasilkan satu set varian dari salah satu tugas Anda sendiri, minta seorang kolega menilai dua di antaranya untuk kemampuan yang sama, dan bandingkan. Jika nilainya menyimpang pada varian-varian itu, klaim kesetaraan tidak berlaku untuk tugas Anda dan perlindungan terhadap jawaban bersama dibayar dengan ketidakadilan.

Redesain jarang terjadi tugas demi tugas

Dalam studi kualitatif terhadap 12 akademisi dan 17 mahasiswa di sebuah universitas besar Australia, Nicola-Richmond dkk. menemukan kedua kelompok setuju bahwa penilaian harus berubah tetapi menekankan gesekan sistemik: tenggat waktu yang panjang, kendala akreditasi kohort besar, beban kerja, dan biaya. Mereka menyimpulkan bahwa redesain memerlukan satu kampung, yaitu tim di seluruh program yang menggabungkan keahlian desain penilaian, AI generatif, bidang studi, industri, dan bukti, dengan butir literasi GenAI dan jaminan pembelajaran ditempatkan secara strategis di seluruh kualifikasi. Jika Anda satu pengajar dengan satu mata kuliah, temuan itu adalah peringatan tentang apa yang akan memperlambat Anda dan alasan untuk membawa pimpinan program ke percakapan pertama dan bukan yang terakhir.

Tujuannya sama pentingnya dengan mekaniknya. El Khoury dan Ma berargumen bahwa reformasi yang hanya diorganisasi untuk mencegah pelanggaran terlalu defensif dan mengusulkan penilaian yang menyenangkan, yang aman, tanggap secara emosional, memberdayakan, dan mendukung agensi siswa, di mana integritas adalah konsekuensi dari desain yang baik dan bukan titik awalnya. Contoh kerja mereka menggunakan agen AI yang dibangun pengajar untuk melatih siswa sebelum penilaian dan untuk menghasilkan laporan bukti yang selaras dengan rubrik, tetapi pembagian kerjanya dinyatakan terus terang: AI mengorganisasi bukti, pengajar menafsirkannya.

Apa yang akan kembali kepada Anda

“Saya tidak punya jam untuk pemeriksaan lisan.” Maka jangan jalankan pada semuanya. Satu komponen terautentikasi pada tugas dengan taruhan tertinggi, ditambah pemeriksaan sampel atas pekerjaan yang tampak tidak konsisten dengan kiriman sebelumnya, menangani sebagian besar risiko dengan sebagian kecil biayanya. Butir yang dapat diskalakan adalah pengumpulan bertahap dan rasional beranotasi.

“Akreditasi dan persetujuan program tidak akan bergerak secepat itu.” Studi di atas menyebut tenggat waktu yang panjang dan kendala akreditasi kohort besar sebagai gesekan utamanya. Satu mata kuliah dapat mengubah apa yang terjadi di dalam penilaian yang sudah ada tanpa mengubah namanya, bobotnya, atau capaian pembelajarannya, dan itu biasanya cukup untuk memulai.

“Ini merugikan siswa yang cemas dan siswa dengan disabilitas.” Bisa jadi. Komponen lisan langsung memerlukan akomodasi yang direncanakan lebih awal, pilihan format di tempat konstruknya memungkinkan, serta perhatian pada perbedaan linguistik dan bias penilai. Verifikasi kemampuannya, bukan kondisi penampilannya.

“Kita sebaiknya membeli detektor saja.” Hasil daya beda berargumen menentangnya sebagai tulang punggung desain: jika positif palsu naik lebih cepat daripada positif benar, pemantauan yang lebih kuat membuat penyembunyian relatif lebih menarik. Deteksi mungkin punya tempat dalam respons yang juga mendesain ulang tugas, dan apakah kita harus menggunakan detektor AI mencakup argumen itu.

“Siswa akan tetap menggunakan AI.” Memang, dan pertanyaan desainnya adalah respons mana yang paling dimudahkan oleh tugas Anda. Jika pengungkapan tidak merugikan siswa dan rubrik membayar prosesnya, sebagian besar dari mereka akan memilihnya; jika pengungkapan mengundang kecurigaan, penyembunyian menjadi pilihan yang rasional.

Yang perlu dilakukan pekan ini

1. Tuliskan satu kalimat yang menyebutkan kemampuan yang dinilai oleh tugas besar Anda berikutnya. Letakkan di lembar tugas.

2. Pilih satu langkah terautentikasi termurah yang dapat Anda pertahankan, dan tambahkan ke tugas itu.

3. Daftar langkah-langkah tugas itu dan tandai masing-masing sebagai memikul konstruk atau tidak. Izinkan AI di tempat yang tidak, batasi di tempat yang memikulnya.

4. Tambahkan bukti proses ke dalam rubrik dengan poin yang melekat, dan sebutkan seperti apa bentuk yang baik.

5. Bawa perubahan itu kepada pimpinan program studi Anda dan kepada kantor mana pun yang menyetujui akomodasi, sebelum perkuliahan dimulai dan bukan setelah banding pertama.

Ke mana selanjutnya

Argumen validitas di balik seluruh halaman ini ada di validitas penilaian; pendamping dari sisi penegakan adalah mengurangi kecurangan AI, dengan kebijakan AI mata kuliah di sebelahnya. praktik terbaik pengajaran menulis dengan AI mencakup pilihan kata yang sesungguhnya diikuti siswa, dan mengevaluasi intervensi AI mencakup apakah alat yang menjadi dasar desain Anda berfungsi sama sekali.