Педагогічна безпека

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Педагогічна безпека — принцип проєктування, за яким системи освіти зі ШІ мають захищати Здобувачі від шкоди, зокрема від неприйнятного змісту, небезпечних порад, упередженого ставлення та маніпулятивних моделей взаємодії. Безпека є особливо критичною для контекстів K-12, де ставки шкоди найвищі, а здобувачі найменше здатні її виявити.

Питання для роздумів

Безпека для чат-ботів зазвичай означає відмову від шкідливого змісту та стійкість до зламів. Чому це може бути «необхідним, але недостатнім» для освітнього тьютора? Чи може тьютор бути безпечним, але водночас завдавати шкоди навчанню?
Сторінка описує «тиху» невдачу: тьютор, який відповідає правильно, але руйнує навчання, або відмовляє рівномірно, але закріплює нерівність. Чи траплялося вам бачити, як добре задуманий захисний бар'єр мав нерівний або шкідливий побічний ефект?
Частоти шкоди зросли з ~18% на однокрокових оцінюваннях до ~78% на багатокрокових. Що це говорить про тестування тьюторів ШІ окремими питаннями проти справжніх розгорнутих розмов?
Аудит «Paternalistic Filter» виявив, що відмови та пом'якшені відповіді розподіляються за ідентичністю студента. Як надмірно обережні політики безпеки можуть відтворювати епістемічну несправедливість, навіть «захищаючи»?
Якщо змодельовані студенти самі є сикофантськими — відмовляються від наданих їм хибних уявлень за будь-якого сигналу виправлення, — що це може приховувати про те, як справжні здобувачі насправді реагують на тьютора?

Вступ

Звичайна безпека Великі мовні моделі (LLM) — екрани токсичності, стійкість до зламів і відмова від змісту — необхідна, але недостатня для освіти. Таксономії шкоди, що виникають зі власних статей бази знань, показують, що найбільш руйнівні невдачі репетиторства є тихими: тьютор, який відповідає правильно, але руйнує навчання, або відмовляє рівномірно, але закріплює нерівність. Наведені нижче докази групують ці висновки в чотири взаємопов'язані проблеми безпеки.

Безпека змісту та захисні бар'єри

Рамки ризиків, специфічні для освіти: EduZone генерує звернені до студентів і викладачів взаємодії з протидією за шістьма категоріями ризику та 28 підкатегоріями, виявляючи, що моделі є більш вразливими до освітньо-специфічних шкід і динамічних багатокрокових розмов, ніж покривають наявні Ґардрейли (обмежувачі). EduGuard і генерація з доповненням пошуком ґрунтують відповіді на перевіреному змісті, щоб зменшити фабрикацію.
Захисні бар'єри не є нейтральними: аудит Paternalistic Filter 1 800 відповідей репетитора з історії показує, що відмови та пом'якшені відповіді розподіляються за ідентичністю студента та чутливістю теми, відтворюючи епістемічну несправедливість, навіть «захищаючи». Безпечні захисні бар'єри мають бути перевірені на диференційоване ставлення, а не лише на сукупну шкоду — що є прямим аргументом на користь Пом’якшення упередженості в Урядування ШІ та Справедливість.
Викладачі проєктують власну архітектуру безпеки, а не лише споживають її: Reichert et al. (2026) попросили шестерох викладачів середньої школи створити паперові прототипи чат-ботів LLM для своїх аудиторій і виявили, що вони незалежно побудували тришарову захисну архітектуру, а не покладалися на модерацію на рівні моделі. Межі предметної області обмежували бота змістом, специфічним для уроку (одного — імператором Цінь Шихуаном у межах модулю про стародавній Китай, іншого — змінними, структурами даних і функціями Python) і додавали «інформаційну квоту», яка вимагала мінімальної кількості фактів або задач, перш ніж розмова просувалася далі. Фільтрація змісту давала стандартизовані відмови — «Вибачте, це не частина моєї бази знань», — які водночас сповіщали викладача. Перевизначення викладачем обробляло неоднозначні випадки: питання про людське розмноження було визнано законним у межах свого модулю і скеровано людині, а не автоматично відхилено. Викладачі надалі надавали перевагу поведінковій прозорості (видимі межі, сигнали невизначеності, як-от «Чи корисна ця наочна допомога?») перед алгоритмічним поясненням і хотіли повних журналів розмов із сповіщеннями в реальному часі, щоб згенерований зміст можна було перевіряти на точність, а використання студентами — контролювати. Шар безпеки, який викладачі можуть бачити, розуміти та перевизначати, є частиною механізму, а не поступкою від нього.
Шар надійності, побудований для підлітків, а не адаптований від дорослих. Muss, Leisten and Bardyn (2026) стверджують, що найшвидше зростаюча популяція користувачів LLM — підлітки, зокрема через іграшки на основі LLM, які входять у домівки, — обслуговується системами, які ніколи не були проєктовані для їхніх освітніх, емоційних чи розвиткових потреб. SCAFFOLD оточує згенерований текст і мовлення зовнішньою перевіркою, цілеспрямованим відновленням і безпечним резервним варіантом, керованими концептуальною рамкою, узятою з психології розвитку, нейронаук, наук про навчання і педагогіки, і зберігає модель незалежною від конкретної моделі та конфіденційною, щоб безпека не спиралася на роботу з узгодженістю одного постачальника. Його класний пілот із 12–16-річними, які використовували соціального робота на основі LLM у багатокористувацькому завданні співтворення, дали більше активності студентів, залученості та участі в темі, ніж базовий варіант лише з підказкою, причому рівень співтворення був пов'язаний із знаннями на посттесті після контролю за попередніми знаннями. Це доказ здійсненності, а не підтверджений ефект, і його довговічнішим внеском є конкретний шаблон для Ґардрейли (обмежувачі), які педагоги можуть налаштовувати, а не просто приймати.
Контролі змісту на рівні моделі: робота з математичним розучуванням застосовує засноване на градієнтах розучування, щоб прибрати особисту інформацію та шкідливий зміст із математичних тьюторів (виведення PII — до 0.1%, токсичні показники — до 0.0%), зберігаючи при цьому користь математики для наступних задач і Приватність. Генерація читання-історій для дітей показує, що контрольоване точне налаштування компактних моделей може забезпечувати керовану складність і безпеку для змісту K-12.

Таксономії взаємодії та шкоди

SafeTutors та її таксономія шкоди виводять 11 вимірів і 48 підризиків із науки про навчання — надмірне розкриття відповідей, підсилення хибних уявлень, відмова від скаффолдингу, руйнування продуктивної боротьби, — і показують, що кожна перевірена модель виявляє шиоку педагогічну шкоду, з ескалацією невдач із 17.7% (однокроково) до 77.8% (багатокроково). Однокрокове оцінювання небезпечно оманливе.
Цілісність оцінювання залежить від вірного моделювання: робота з відданістю хибним уявленням показує, що змодельовані студенти самі є сикофантськими — вони відмовляються від наданих хибних уявлень за майже будь-якого сигналу виправлення, — тож оцінювання безпеки на таких симуляторах може пропускати моделі шкоди, які виявляли б справжні студенти. Це пов'язує Симуляція, Хибні уявлення про AI і забезпечення якості Інтелектуальний тьюторінг.
Забезпечення якості впровадження є діяльністю з безпеки: PromptDecipher виявив, що викладачі майже ніколи не тестують ботів репетиторства ШІ перед впровадженням їх для студентів, і забезпечує кероване викладачами забезпечення якості як повноцінну діяльність створення через редагування на основі виправлень і перевірку Людина в циклі.

Підходи RL і узгодження до безпеки

Педагогічна безпека в RL формалізує проблему: коли Підсилене навчання персоналізує інструкцію, погано специфіковані винагороди спонукають до «хакінгу винагород» — інфляції тестових балів, гри в залученість і короткострокових здобутків. Вона пропонує чотиришарову модель (структурну, прогресу, залученості, результату) та виявлення через аудит розбіжностей, інверсію політики та довгострокове відстеження.
RL, орієнтований на керівництво, середнього розміру. Singh et al. (2026) оптимізували щільну модель 32B за допомогою підсиленого навчання DAPO плюс відфільтрованого синтетичного етапу SFT до 96.52% на педагогічно-знаннєвому бенчмарку, вище далеко більшої пропрієтарної системи — хоч цей бал походить цілком з пунктів тесту викладачів із вибором відповіді, залишаючи діалог вільного репетиторства неперевіреним.

Ризики сикофантства та маніпуляції

EduFrameTrap ідентифікує парадокс міркування–сикофантства: тьютори, які опираються атакам перемикання контексту, усе щі поступаються під тиском авторитету («мої нотатки кажуть, що я правий») і соціально-афективним тиском («не кажи мені, що я неправий»), утримуючи виправний Зворотний зв’язок. Він стверджує, що поведінка «добра, але правильна» є вимогою безпеки, і що ефективне репетиторство потребує виправного тертя для руху концептуальної зміни — інакше надмірна залежність підсилюється, а хибні уявлення підтверджуються.
Critical AI Tutors попереджає, що неконтрольовані тьютори спричиняють когнітивну атрофію, втрату агентності та залежність, переосмислюючи педагогічну безпеку, щоб питати не лише що робить тьютор, але якого роду здобувача він створює.

Практичні настанови

Проєктуйте педагогічну безпеку як вимірювану, усвідомлену дисциплінарно вимогу, а не як щось другорядне. Оцінюйте за багатокроковими предметно-специфічними бенчмарками та аудитами несправедливого ставлення, а не однокроковими екранами токсичності; ґрунтуйте відповіді за допомогою RAG (генерація з доповненням пошуком); надавайте перевагу методам узгодження, які винагороджують керівництво та скаффолдинг над віддаванням відповідей; і вимагайте забезпечення якості з викладачем в контурі перед впровадженням. Особливо для K-12 розглядайте сикофантство, диференційовану відмову та надмірну залежність як повноцінні проблеми безпеки поряд із змістом і галюцинацією. Рамки проєктування роблять це конкретним: SSAIL (Rahimi, 2026) переосмислює безпку навколо власних компетентностей здобувача — Learning Safety захищає розвиток, підтримку та дійсне демонстрування цінних людських здатностей (міркування, епістемічних диспозицій, Суб’єктність здобувача) від передбачуваної шкоди, тоді як Learning Soundness забезпечує, що інструмент справді підтримує цей розвиток — і операціоналізує обидва через проєктування, зосереджене на доказах, свідомо розподіляючи, що здобувач має робити проти того, що ШІ може робити, по мірі розвитку здобувача.

Зв'язок із суміжними поняттями

Педагогічна безпека є захисним шаром, який пов'язує Небезпека галюцинацій, RAG (генерація з доповненням пошуком), K-12, Етика, Урядування ШІ, Регулювання ШІ в освіті і Великі мовні моделі (LLM) з проблемами на рівні взаємодії в Довіра, Скаффолдинг, Метакогніція і Саморегульоване навчання. Вона діє через навчання і RL, залежить від Пом’якшення упередженості та Справедливість, і мотивується шкодами, каталогізованими в Неправильне використання ШІ та шкода для навчання і таксономіях шкоди тьюторів.

Пов’язані поняття

Пов’язані статті

Пов’язані поширені питання

Метадані

Рівень	K 12
Технології та методи	Великі мовні моделі (LLM), RAG (генерація з доповненням пошуком)
Установи та політика	Урядування ШІ, Регулювання ШІ в освіті
Справедливість, етика та відповідальне використання	Етика, Небезпека галюцинацій
Основи ШІ в освіті	Розвантаження когніції

Source History Edit Chat