Как да разберем, че образователният AI работи правилно, а не просто получава добри оценки?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Докладът за оценка от доставчик пристига с едно число най-горе: съгласие с човешките оценители, 0,84. Или пилотът ти приключва в петък, а доказателствата се състоят от анкета за удовлетвореност плюс ред от бенчмарк, копиран от бележките към изданието на модела. На срещата някой пита дали системата работи и ти имаш цифра, която звучи като отговор.

Краткият отговор: оценките, които виждаш най-често, измерват прилика, а приликата е по-слабо твърдение от „това учи“ или дори от „тази обратна връзка е четивна“. Реши какво има право да докаже всяко число, оценявай всеки изход, който системата ти произвежда, и превърни точността в правило с праг, човек и спестяване, прикачено към него. Число, по което никой не може да действа, не е доказателство.

Накратко

1. Напиши едно изречение, което назовава какво те интересува, и после избери мярка, която чете точно това. Съвпадението на думи няма да ти каже дали разсъждението е вярно.

2. Оценявай всеки изход поотделно. Силна оценка за оценяване не казва нищо за модула за обратна връзка до него.

3. Нека човек оцени около петдесет изхода и сравни тези оценки с автоматичния ти проверяващ. Там, където двете се разминават, проверяващият е това, което се тества.

4. Замени „точност 0,84“ с правило: под тази увереност човек чете отговора. Отчети прага, дела работа, който спестява, и какво е станало съгласието.

5. Тествай безопасността през цели разговори и провери всеки симулиран студент, преди да се довериш на това, което казва за обучателя ти.

Реши какво има право да докаже числото

Две семейства числа доминират в тази литература. И двете измерват колко близо е изходът ти до нещо друго, което е по-слабо твърдение от коректността.

Оценки за сходство (ROUGE и BLEU) сравняват формулировката на отговора на системата ти с формулировката на референтен отговор. Модел, който пише нещо близо до очаквания текст, получава добра оценка, дори когато разсъждението му е грешно или когато студент може да стигне до верния отговор по път, който не учи нищо.

Оценки за съгласие (QWK, квадратично претеглена капа) измерват колко близо се подреждат оценките на модела до тези на човек. Модел може да съвпадне с оценителя по крайната оценка, докато греши защо, а „защо“ е частта, от която студентът се учи.

Студент може да стигне до грешен отговор по грешен път, който изглежда като верен, и никоя оценка за сходство не го забелязва. Ако разсъждението е това, което те интересува, мярката трябва да го чете: рубрика, приложена от човек, или проверка, написана за точно тази стъпка.

Асистентът за курса по линейни системи за управление отчита това по правилния начин. Най-добрата му конфигурация достигна оценка за сходство 0,4093 спрямо референтните отговори, с надеждно измерено подобрение над нулата, а авторите казват направо, че числата измерват формулировка и формат (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). Оценката е незабележителна, а статията пак е полезна, защото казва какво покрива оценката.

Оценявай всеки изход поотделно

В проекта WrAFT фино настроен модел достигна оценка за съгласие 0,84 с човешките оценители върху 360 есета TOEFL, отделени за теста. Това е силен резултат за оценяване. Моделът на същия проект, обучен да пише обратна връзка, произведе изход, който беше отрязан и неразбираем, докато простото подканяне на друг модел даде обратна връзка, която учителите предпочетоха (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays).

Базата знания носи същия провал във втора форма: внедряване, чийто модул за оценяване се представи добре, а обратната връзка пристигаше отрязана по средата на изречението и нечетима. Нищо в числото на заглавието не го казваше.

Затова изброй изходите, които системата ти произвежда, и дай на всеки собствена мярка и собствено условие за преминаване. Оценяването, текстът на обратната връзка, изборът на подсказка и отказите по съображения за безопасност се провалят по различни начини, а оценка на ниво модул не вижда отвъд собствения си модул.

Сложи човек там, където моделът не е сигурен

Корелацията ти казва, че моделът обикновено е прав. Тя не ти казва какво да правиш в случаите, когато не е. Резултатът за насочване по увереност е най-чистият шаблон в базата знания и е достатъчно кратък, за да го копираш.

Увереността се оказа надежден предупредителен знак: когато моделът не беше сигурен, беше по-вероятно да греши (β = -0,602, p < 0,001). Екипът изпращаше най-несигурните 20% от отговорите на човек. Това единствено правило вдигна съгласието с човешките оценки от 0,78 на 0,82 и намали ръчната работа по оценяване с около 80% (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment).

Виж какво съдържа докладът: праг, човек и спестяване. „Съгласие 0,84“ не съдържа нито едно от тях, и затова е трудно да се действа по него и лесно да се спори за него.

Провери автоматичния си проверяващ срещу човек

Много екипи сега използват втори модел, за да съди първия. Подредбата е разумна и вторият модел не е автоматично прав.

Изследване, в което водещ модел пишеше подсказки за система за интелигентно обучение, установи, че около 35% от тях бяха твърде общи, неверни или издаваха отговора, а собствените автоматизирани проверки за качество на модела се разминаваха с човешката преценка за това кои са лоши (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).

Практическата версия: вземи извадка от около петдесет изхода, нека човек ги оцени, и сравни това с оценките на проверяващия си. Там, където двете се разминават, си научил нещо за проверяващия. Запази извадката и таблицата на несъгласията, защото това е и артефактът, който отговаря на рецензент, който пита откъде знаеш.

Измери самото количество, когато задачата позволява

Най-чистото решение е да обучиш модела върху същото количество, което възнамеряваш да измерваш. Фино настроен модел беше обучен да възпроизвежда статистическите свойства на тестови въпроси: колко труден е всеки въпрос, колко добре разделя по-силните от по-слабите студенти. Той научи тези модели, вместо да му бъдат казани (Multimodal Item Parameter Estimation using Simulated Response Probabilities). Понеже целта беше свойство на самото оценяване, оценката можеше да е за това свойство, вместо за формулировката.

Отчети и прогресията, не само крайната точка. Симулаторът за писане SWIM публикува оценката на всеки етап една до друга: подканяне по рубрика 0,577, фино настройване 0,474 ± 0,023, обучение с подсилване 0,618 ± 0,005 (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation). От тази таблица читателят вижда дали обучението е направило нещо. Едно крайно число не може да му каже това и скрива етап, в който фино настроеният модел се представи по-зле от подканата.

Сравни с нещо извън проекта си

Първо вземи базова линия, включително евтина. Моделът на асистента за курса без заземяване получи по-ниска оценка от обикновено търсене по ключова дума, което е от онези резултати, които променят пътната карта и струват един ден, за да ги намериш.

Външен бенчмарк после ти казва дали числото ти изобщо е добро. На педагогическия бенчмарк CDPK EduQwen достигна 96,52% срещу 90,55% за Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Педагогическият бенчмарк, построен от реални изпити за професионално развитие на учители и покриващ 97 модела, намери точност от 28% до 89% (Lelièvre et al., 2025).

По задача за преподаване моделите варираха от слаби до добри, така че резултатът от бенчмарк поставя системата ти някъде в широк диапазон.

Тествай безопасността през цял разговор

Повечето тестове за безопасност проверяват единичен обмен. Щетите, които имат значение при обучението, се натрупват. SafeTutors установи, че дори модели, построени специално за преподаване, деградират в дълъг разговор и могат да разкрият отговори, които трябва да задържат (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems).

Пусни проверката през цели разговори и напиши тестовите ходове умишлено: студентът, който греши, този, който настоява, този, който се опитва да убеди модела да излезе от ролята си. Обучател, който издържа десет хода и се огъва на единадесетия, се проваля на теста, който има значение, а набор от проверки по отделни отговори ще го оцени като чист.

Провери симулирания студент, преди да му се довериш

Генерирането на симулирани студенти вместо набирането на истински прави оценяването много по-евтино. Симулираният студент също е измервателен инструмент и може да греши по начина, по който инструментите грешат: твърде отстъпчив, твърде гладък, твърде бърз да приеме подсказка.

Най-прекият тест в базата знания сравни симулирани и подканени студенти с 382 диалога, отделени за теста, от най-голямата публична колекция от реални диалози студент-обучател по математика, с помощта на седем мерки, покриващи език, поведение и мислене (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Друга работа настоява за реализъм от различни ъгли: INSIDE обучава модели да действат и да мислят като студенти, а профилите, съобразени с историята, обвързват симулацията с миналото на студента, вместо с фиксирана персона (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues).

Ако тестовата ти среда е симулиран студент, валидирай симулатора срещу реални транскрипти, преди да го оставиш да оценява обучателя ти.

Какво екипите за оценяване разбират погрешно

Висока оценка за съгласие значи, че системата е коректна. Тя значи, че системата оценява като оценителя, с когото си я сравнил, върху есетата, върху които си я сравнил. 0,84 на WrAFT дойде с обратна връзка, която не се разчиташе.

Едно число може да представя продукта. Екипи пускат табло с „точност 0,84“ в ъгъла и без поле за модула за обратна връзка, за политиката на подсказките или за поведението при отказ. Оценката на ниво модул е най-лесното число за изчисляване и най-малко информативното нещо за отчитане.

Външен бенчмарк решава дали инструментът работи. Разсейването от 28% до 89% в Педагогическия бенчмарк казва, че семейството задачи е трудно и обслужвано неравномерно. Позицията ти в този диапазон е факт за модела ти. Какво могат студентите ти след това е друг факт.

Модел, който съди модел, е евтин заместител на човешките оценки. Евтин е. Числото 35% и несъгласието за това кои подсказки са лоши описват какво ще пропусне съдия, който никога не е бил проверяван.

Симулираните студенти правят оценяването безплатно. Правят го евтино и местят разхода във валидирането. Сравнението с 382 диалога съществува, защото инструментът се нуждаеше от калибриране.

Какво ще ти се върне

„Нямаме анотатори за това.“ Петдесет оценени изхода са достатъчни за начало. Оцени ги сам, ако никой друг не е свободен, и запази таблицата.

„Резултатът ни от бенчмарк бие Gemini.“ Бие го, на CDPK, с подканите, които този бенчмарк използва. Сложи до него мярката без помощ.

„Автоматичният ни съдия е съгласен с човешките ни оценители.“ Тогава имаш една корелация върху една извадка. Питай за кои изходи се е разминал и ги прочети, защото там живее провалът.

„Не можем да пуснем пълна оценка преди пускането.“ Пусни евтините три: един изход, оценен поотделно, петдесет изхода, оценени от човек, и един тест за безопасност с дължината на разговор. Скъпите елементи могат да дойдат след пилота.

„Системата е само демо, така че оценяването е преждевременно.“ Демото е най-евтиното място да откриеш, че числото ти измерва формулировка. След като към него има прикачена пътна карта, същото откритие струва повече за действие.

Какво да направиш тази седмица

1. Напиши твърдението в едно изречение, което оценката ти трябва да подкрепи. Сложи го в началото на документа за оценяването.

2. Изброй всеки изход, който системата произвежда, и дай на всеки ред, мярка и условие за преминаване.

3. Извади петдесет изхода, оцени ги сам и сложи оценките си до тези на проверяващия.

4. Изчисли разпределението на увереността и напиши правилото за насочване с число в него, плюс името на човека, който чете каквото падне под него.

5. Пусни един разговор за безопасност, в който студентът греши, настоява два пъти и иска отговора.

Накъде след това

Как да направим AI по-добър в подкрепата на ученето в собствения ни предмет? покрива дизайнерската страна на същия проблем. Как да обучим AI тьютор да напътства студентите, вместо да им отговаря? се занимава с пътя през обучение към преподавателско поведение, а Какви мерки и изследователски методи може да използва преподавателят, за да оценява интервенции, свързани с AI? е версията на този въпрос за преподаватели, с Кои са добрите практики за отчитане и тълкуване на изследванията на AI в образованието? като версията за изследователи. Методите стоят под AI Ed Evaluation и LLM Training and Fine-Tuning.