Як дізнатись, що освітній ШІ працює правильно, а не просто набирає високі бали?

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Освітній ШІ може виглядати так, ніби працює, тоді як він не працює. Бали, які ви бачите найчастіше, — наскільки відповідь моделі схожа на правильну або наскільки близько її оцінки збігаються з людськими, — можуть виглядати високими, тоді як те, що вам справді важливо, зламане.

В одному проєкті цієї бази знань та сама система отримала хороший показник узгодженості в оцінюванні есе й у тому самому розгортанні створила зворотний зв’язок, який обірвався на півреченні й був нечитабельним. Оцінювання працювало. Зворотний зв’язок — ні. Ніщо в заголовному числі про це не казало.

Ця сторінка про те, як помітити різницю, і вона не потребує жодної підготовки у вимірюванні.

Що насправді вимірюють звичайні бали

У цій літературі домінують два види чисел, і обидва вимірюють схожість, а не правильність.

• Бали схожості (ви побачите, що їх називають ROUGE і BLEU) порівнюють формулювання відповіді моделі з формулюванням еталонної відповіді. Модель, яка пише щось близьке до очікуваного тексту, набирає високий бал — навіть якщо її міркування хибне, і навіть якщо студент міг дійти до правильної відповіді шляхом, якого нічого не навчає.
• Бали узгодженості (ви побачите QWK, або квадратичне зважене каппа) вимірюють, наскільки близько оцінки моделі збігаються з оцінками людини. Модель може погоджуватись із перевіряючим на кінцевій оцінці, будучи помилковою щодо чому, а це та частина, з якої студент навчається.

Студент може дійти до хибної відповіді хибним шляхом, який виглядає правильним, і жоден бал схожості цього не помітить. Якщо вам важливе міркування, вам потрібне щось, що читає міркування, — рубрика, застосована людиною, або перевірка, написана для цього конкретного кроку.

Помічник курсу Linear Control Systems є хорошим прикладом команди, яка чесно про це повідомляє. Його найкраща конфігурація досягла балу схожості 0.4093 з еталонними відповідями, причому покращення вимірювалось надійно вище нуля, і автори просто заявляють, що їхні числа вимірюють формулювання й формат (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects).

Система може пройти один тест і провалити наступний

Це найкорисніший урок у базі знань, бо саме він ловить людей на тому, чого вони не чекають.

У проєкті WrAFT дотонно налаштована модель досягла балу узгодженості 0.84 з людськими перевіряючими на 360 відкладених есе TOEFL. Це сильний результат для оцінювання. Модель того самого проєкту, навчена писати зворотний зв’язок, створила результат, який був обрізаним і нерозбірним, — тоді як просте формулювання підказки для іншої моделі дало зворотний зв’язок, якому викладачі віддали перевагу (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays).

Тож оцінюйте кожен результат, який створює ваша система, окремо. Високий бал на модулі оцінювання не говорить вам нічого про модуль зворотного зв’язку поруч із ним.

Перевірте, чи ваша автоматична перевірка погоджується з людьми

Багато команд тепер використовують другий ШІ, щоб перевіряти перший. Це розумно, але другий ШІ не є автоматично правим.

Дослідження, в якому передова модель створювала підказки для інтелектуальної тьюторської системи, виявило, що приблизно 35% із них були занадто загальними, хибними або розкривали відповідь, — і власні автоматизовані перевірки якості моделі не погоджувались із людським судженням про те, які з них погані (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).

Практична версія: візьміть вибірку приблизно з п’ятдесяти результатів, нехай людина їх оцінить, і порівняйте це з оцінками вашої автоматичної перевірки. Якщо дві не погоджуються, ваше автоматичне число не є доказом.

Перетворіть бал на правило, на яке можна діяти

Кореляція каже вам, що модель зазвичай права. Вона не каже вам, що робити в тих випадках, коли вона не права. Результат маршрутизації за довірою є найчітнішим шаблоном тут, і він достатньо простий, щоб його скопіювати.

Довіра виявилась надійним попереджувальним знаком: коли модель була невпевненою, вона з більшою ймовірністю була помилковою (β = −0.602, p < .001). Тож команда надіслала найменш упевнені 20% відповідей людині. Це одне правило підвищило узгодженість із людськими оцінками з 0.78 до 0.82 і скоротило ручну роботу з оцінювання приблизно на 80% (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment).

Зверніть увагу, що містить звіт: поріг, людину й економію. «Узгодженість 0.84» не містить жодного з цих, тому на неї важко діяти.

Коли можете, вимірюйте саму річ

Найчистішим виправленням є навчання моделі на тій самій величині, яку ви маєте намір вимірювати. Дотошно налаштовану модель навчали відтворювати статистичні властивості тестових завдань — числа, що описують, наскільки складним є кожне завдання і наскільки добре воно розрізняє сильніших і слабших студентів, — і вона вивчила ці закономірності, а не їй їх повідомили (Multimodal Item Parameter Estimation using Simulated Response Probabilities). Ціллю була властивість самого оцінювання, тож оцінювання могло стосуватись цієї властивості, а не формулювань.

Повідомляйте також про прогресію, а не лише про кінцеву точку. Симулятор письма SWIM опублікував бали кожного етапу поруч — підказки на основі рубрики 0.577, дотонне налаштування 0.474 ± 0.023, навчання з підкріпленням 0.618 ± 0.005 (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation) — і саме це дозволяє читачеві побачити, чи дало навчання що-небудь. Одне кінцеве число не може їм цього сказати.

Перевіряйте безпеку на всій розмові, а не на одній відповіді

Більшість перевірок безпеки перевіряє один обмін. Шкоди, які мають значення в наставництві, накопичуються. SafeTutors виявив, що навіть моделі, створені спеціально для викладання, деградують упродовж довгої розмови й можуть розкривати відповіді, які мали б приховувати (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems).

Проводьте перевірку безпеки на повних розмовах і включайте ходи, в яких студент помиляється, продовжує наставати або намагається відговорити модель від її ролі.

Якщо ви тестуєте з фальшивими студентами, спочатку перевірте фальшивих студентів

Генерування змодельованих студентів замість залучення справжніх робить оцінювання набагато дещовитішим. Але змодельований студент є вимірювальним інструментом, і він може помилятись так, як може помилятись будь-який інструмент.

Найпрямішою перевіркою цього в базі знань було зіставлення змодельованих із підказками студентів проти 382 відкладених діалогів з найбільшої публічної збірки справжніх діалогів студент–тьютор з математики, з використанням семи мір, що охоплюють мову, поведінку й мислення (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Інші роботи тиснуть на реалістичність із різних боків: INSIDE навчає моделі і діяти, і мислити як студенти, а історією обумовлені профілі зумовлюють симуляцію минулим студента, а не фіксованою персоною (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues).

Якщо ваш вимірювальний пристрій — це змодельований студент, перевірте симулятор, перш ніж довіряти тому, що він каже про вашого тьютора.

Порівнюйте з чимось поза вашим власним проєктом

Якщо у вас немає власної базової лінії, зовнішній бенчмарк каже вам, чи є ваше число чим-небудь вартим. На педагогічному бенчмарці CDPK EduQwen досяг 96.52% проти 90.55% у Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Pedagogy Benchmark, побудований зі справжніх іспитів з професійного розвитку викладачів і що охоплює 97 моделей, виявив точність у діапазоні від 28% до 89% (Lelièvre et al., 2025).

Цей розкид і є суттєвим: на завданні про викладання моделі коливались від поганих до хороших. Читайте результати бенчмарку як діапазон, усередині якого ви перебуваєте, а не як вирок.

Контрольний список перед випуском

1. Запишіть одним реченням, що вам справді важливо, і оберіть міру, що фіксує це, а не схожість. 2. Спершу отримайте базову лінію, включно з простою. Модель помічника курсу без обґрунтування набрала менше, ніж звичайний пошук за ключовими словами. 3. Перевіряйте кожен результат, який створює ваша система, окремо. 4. Нехай людина оцінить вибірку й порівняйте це з вашою автоматичною перевіркою. 5. Перетворіть точність на правило: поріг, людина й економія. 6. Перевіряйте безпеку на повних розмовах. 7. Перевірте будь-якого змодельованого студента, перш ніж йому довіряти. 8. Збережіть невдачі. Обрізаний зворотний зв’язок і підказки, що розкривають відповідь, — це висновки, а не шум.

Пов’язані питання

• Як ми можемо зробити ШІ кращим у підтримці навчання в нашому власному предметі?
• Як нам навчати ШІ-тьютора направляти студентів, а не відповідати їм?
• Які міри та методи дослідження може використати викладач, щоб оцінити пов’язані зі ШІ інтервенції? — версія цього питання для викладачів
• Які є найкращі практики подання та тлумачення досліджень про ШІ в освіті? — версія для дослідників
• Тренування LLM і дотончення — повна сторінка поняття