Pembelajaran Penguatan

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Pembelajaran penguatan melatih tutor AI dan agen melalui sinyal imbalan: Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training, Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning, Pedagogical Safety in Educational Reinforcement Learning, dan AI Coaching for Accelerating Human Skill Development with Reinforcement Learning menyelaraskan RL dengan tujuan pedagogis, termasuk keselamatan dan transfer keterampilan (Tutoring Cerdas, AI Agensik).

Pertanyaan yang Perlu Dipertimbangkan

• Tutor RL 'belajar' apa yang harus dilakukan dengan memaksimalkan sinyal imbalan. Sebelum Anda membaca, apa yang bisa salah pada AI yang mengoptimalkan suatu imbalan — khususnya jika imbalannya adalah sesuatu seperti 'siswa mengeklik lanjut' atau 'jawaban benar sekarang'?
• Halaman ini mencatat bahwa desain imbalan mengodekan nilai-nilai pendidikan. Jika Anda harus menentukan imbalan yang seharusnya dimaksimalkan oleh tutor AI, apa yang akan Anda masukkan ke dalamnya — dan apa yang akan diabaikan atau diberi imbalan secara keliru oleh imbalan Anda tanpa sengaja?
• RL melatih agen untuk membuat rangkaian keputusan berhorizon panjang (petunjuk apa yang diberikan, kapan menaikkan kesulitan, bagaimana mengatur tempo) alih-alih jawaban tunggal. Bagaimana itu berbeda dari kebenaran dari saat ke saat yang mungkin Anda beri imbalan secara naif — dan mengapa perbedaannya penting bagi pembelajaran?
• Batasan keselamatan dapat diintegrasikan ke dalam RL agar optimasi imbalan tidak mengorbankan kesejahteraan pembelajar. Pikirkan perilaku 'membantu' yang mungkin ditunjukkan tutor yang mengoptimalkan imbalan tetapi sebenarnya merugikan secara pedagogis (misalnya, membocorkan jawaban untuk menggelembungkan tingkat penyelesaian). Di mana Anda akan menarik garis keselamatan Anda?
• Optimasi imbalan dapat mempertahankan atau menghancurkan pergulatan produktif, tergantung desainnya. Dari pengalaman Anda, apakah 'siswa menyelesaikan tugas' sama dengan 'siswa belajar'? Di mana Anda pernah melihat AI dioptimalkan untuk yang pertama sekaligus melemahkan yang kedua?

Pendahuluan

Bagaimana pembelajaran penguatan bekerja dalam AIED

Pembelajaran penguatan (RL) melatih agen dengan memberi imbalan atas perilaku yang diinginkan — agen mempelajari kebijakan yang memaksimalkan imbalan kumulatif melalui coba-coba. Dalam AI di bidang pendidikan, RL digunakan untuk melatih agen tutoring dan pendamping belajar yang harus membuat rangkaian keputusan (petunjuk apa yang diberikan, kapan menaikkan tingkat kesulitan, bagaimana mengatur tempo latihan) alih-alih jawaban tunggal. Ini membuat RL cocok untuk Pembelajaran Adaptif dan Tutoring Cerdas tempat keputusan pedagogis berhorizon panjang menjadi penting.

Aplikasi yang terdokumentasi dalam basis pengetahuan

• RL yang selaras secara pedagogis. EduQwen menggunakan pipeline RL-SFT-RL untuk melatih model yang membimbing alih-alih menjawab, menyelaraskan imbalan dengan tujuan pedagogis; Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training menerapkan RL pada desain tutor untuk Pendidikan Khusus.

• RL mengalahkan penyetelan halus terawasi untuk mengikuti instruksi pedagogis. Pelatihan LearnLM menemukan bahwa RL berbasis preferensi jauh lebih efektif daripada SFT saja, karena penilaian preferensi menangkap perbedaan yang bergantung pada konteks di sepanjang percakapan panjang yang hanya sebagian ditangani oleh data terawasi berlabel instruksi (LearnLM Team (2025)).

• Keselamatan dan transfer keterampilan. Pedagogical Safety in Educational Reinforcement Learning mengintegrasikan batasan keselamatan ke dalam tutoring berbasis RL agar optimasi imbalan tidak mengorbankan kesejahteraan pembelajar; AI Coaching for Accelerating Human Skill Development with Reinforcement Learning menunjukkan coaching yang digerakkan RL yang mendukung pengembangan keterampilan dan transfer yang autentik.

• Apa yang dihilangkan suatu imbalan membentuk siapa yang diuntungkan. Tithi et al. (2026) menemukan tutor deep-RL yang diberi imbalan atas skor tes dan efisiensi waktu menyamai heuristik BKT pada posttest (A = .58 untuk keduanya, dibandingkan 65.7) tetapi hanya menugaskan 4% soal latihan untuk perbaikan contoh keliru yang konstruktif dan lebih menguntungkan siswa dengan pengetahuan awal tinggi.

• Simulasi dan latihan. Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues dan Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis menggunakan RL dan pembelajar tersimulasi untuk melatih dan mengevaluasi agen pedagogis, menghubungkan RL dengan Pemodelan Pembelajar dan Pengajaran Adaptif dan Analitik Pembelajaran.

• RL berhorizon panjang dan berbobot keselamatan. ResidencyRL (Liévin et al., 2026) mengoptimalkan seluruh pertemuan klinis 60 putaran — jauh melampaui horizon ≤12 putaran sistem dialog yang ada — dan pelatihan melawan pasien tersimulasi adversarial dengan imbalan yang selaras keselamatan menaikkan akurasi diagnosis 7.0% dan memangkas tingkat tanda bahaya yang terlewat sekitar sepertiga.

Bukti di seluruh bidang

Sebuah tinjauan sistematis RL dalam pendidikan (Riedmann, Schaper & Lugrin, 2025) berstandar PRISMA menyintesis 89 studi (2000–2024) dan menemukan pertumbuhan tajam setelah 2016 pada aplikasi Pembelajaran Adaptif dan tutoring yang terkonsentrasi di STEM (terutama Pendidikan Matematika). Tinjauan itu melaporkan bahwa RL tanpa model mendominasi (n = 72) dengan Q-learning sebagai algoritme paling umum, namun RL klasik lebih konsisten efektif daripada Deep RL (61% vs 36% makalah yang menunjukkan keunggulan signifikan); bahwa adaptasi terbagi menjadi mekanisme penjadwalan konten (n = 53) dan mekanisme terkait panduan (n = 36), dengan RL lebih sering mengalahkan garis dasar pada panduan; dan bahwa perolehan belajar — terutama perolehan belajar ternormalisasi — merupakan sumber imbalan yang paling efektif. Tinjauan itu juga memperingatkan bahwa lebih dari separuh studi (n = 54) melewatkan uji statistik, sehingga pertumbuhan bidang ini melampaui ketelitian metodologisnya.

Keterkaitan dengan basis pengetahuan

RL mendasari banyak desain AI Agensik dan Tutoring Cerdas modern, tempat agen harus mengoptimalkan pembelajaran jangka panjang alih-alih satu respons yang benar. Ia terkait dengan Pelatihan dan Penyetelan Halus LLM (RL sebagai metode pelatihan), Perancah (desain imbalan yang mempertahankan pergulatan produktif), dan Regulasi Diri dalam Belajar (agen yang membantu pembelajar mengatur strateginya sendiri). Karena desain imbalan mengodekan nilai-nilai pendidikan, penelitian RL dalam AIED sangat terkait dengan Keselamatan Pedagogis dan dengan pertimbangan keadilan atas perilaku tutor yang berkeadilan.

Miskonsepsi Umum

"Menyamai garis dasar berarti kebijakan RL mempelajari sesuatu yang layak dimiliki." Itu berarti imbalannya terpenuhi. Tutor deep-RL yang diberi imbalan atas skor tes dan efisiensi waktu menyamai heuristik BKT pada posttest (A = .58 untuk keduanya) sementara hanya menugaskan 4% soal latihan untuk perbaikan contoh keliru yang konstruktif dan lebih menyukai interaksi yang lebih murah. Kebijakan itu mengoptimalkan apa yang dibayar untuknya, dan apa yang dibayar untuknya mengecualikan aktivitas produktif tersebut.

"Fungsi imbalan adalah detail teknis." Ia adalah spesifikasi pedagogis. Apa pun yang diberi bobot oleh imbalan adalah apa yang akan dilakukan kebijakan, sehingga memilih antara skor, efisiensi waktu, keterlibatan, dan perbaikan menuntut posisi eksplisit tentang apa itu belajar — keputusan kurikulum yang dikodekan sebagai angka.

"Horizon yang lebih panjang selalu lebih baik." Horizon panjang memungkinkan hal yang tidak dapat dilakukan horizon pendek, dan menuntut imbalan yang tepat di sepanjang seluruh rangkaian. ResidencyRL mengoptimalkan seluruh pertemuan klinis 60 putaran, jauh melampaui horizon ≤12 putaran sistem dialog yang ada, yang menaikkan biaya tujuan yang salah spesifikasi alih-alih menurunkannya.

"RL adalah formalisme yang tepat untuk tutoring karena pengajaran bersifat berurutan." Pengurutan itu perlu dan tidak cukup; kendala yang mengikat adalah validitas imbalan. Tujuan yang terspesifikasi baik dengan kebijakan yang lemah mengalahkan kebijakan yang kuat yang melawan tujuan yang salah.

Konsep terkait

• Tutoring Cerdas
• Pengalaman Siswa
• Pendidikan STEM
• Regulasi Diri dalam Belajar
• Perancah
• Pembelajaran Aktif
• Platform Edtech
• Pendidikan Tinggi
• Analitik Pembelajaran
• Sumber Terbuka
• Keselamatan Pedagogis
• Pelatihan dan Penyetelan Halus LLM
• Teknologi — Payung: teknologi dan teknik AI (model, pelatihan LLM, robotika, RAG, agensik)

Artikel terkait

• Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues
• Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis
• Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning
• ResidencyRL: Reinforcement Learning in Simulated Clinical Environments
• LearnLM: Improving Gemini for Learning — LearnLM: RLHF untuk mengikuti instruksi pedagogis
• Adaptive Scaffolding for Cognitive Engagement in an Intelligent Tutoring System — Perancah ICAP adaptif dalam ITS (BKT vs DRL)
• Reinforcement Learning in Education: A Systematic Literature Review