Оцінювання ШІ в освіті

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Оцінювання ШІ в освіті — сукупність методів, бенчмарків і критеріїв, що використовуються для з’ясування, чи інструменти освіти з ШІ (тьютори на основі Великі мовні моделі (LLM), автоматизовані оцінювачі, системи зворотного зв’язку, агенти) справді працюють — і не лише за заголовною точністю, а за надійністю, педагогічною якістю, валідністю та реальним впливом на навчання. Повторювана тема досліджень бази знань полягає в тому, що оцінювання має бути специфічним для домену, усвідомленим щодо надійності та спиратися на людське судження й освітні результати, а не на окремі агреговані показники точності.

Питання для роздумів

• Як би ви вирішували, чи «працює» інструмент ІІ-тьюторства? Які докази — понад заголовний показник точності — переконали б вас, що він справді покращує навчання?
• Ключове висновок є те, що надійність не гарантує валідності: система може бути дуже узгодженою, але помилково судити про те, як виглядає добре викладання. Чому стабільний, відтворюваний ШІ може все ж бути помилковим?
• Оцінювання має бути специфічним для домену — бенчмарк, що працює для одного предмета, може вводити в оману в іншому. Коли ви бадите сліпучий результат бенчмарку для інструмента ШІ, що ви хотіли б перевірити щодо контексту?
• «Ґрунтовна істина», відносно якої судять системи, часто оскаржується — що вважається правильною відповіддю або оцінкою, відрізняється між експертами й дисциплінами. Як ця непевність ускладнює довіру до будь-якого оцінювання?
• Дослідження показують, що текстові оцінювачі на основі LLM надають перевагу явно вербалізованим поведінкам і недоважають неявному контексту — «упередженість на явну підказку». Які види доброго викладання машина може систематично пропускати, оскільки дивиться лише на очевидне?
• Сучасне оцінювання також зважує екологічні та інфраструктурні витрати — енергію, обладнання — а не лише якість результату. Чи має Сталий розвиток враховуватися при вашому судженні про цінність інструмента ШІ?

Вступ

Оцінювання ШІ в освіті охоплює кілька відмінних об’єктів оцінювання. Воно може оцінювати результат (чи відповідь, оцінка або зворотний зв’язок ШІ є правильними та надійними?), процес (чи підтримує інструмент валідне, захищене оцінювання та навчання?) та агента (чи навчає тьютор чи агент ШІ ефективно й чи поводиться належним чином?). Кожен потребує різних методів і породжує різні питання валідності.

Деснятирічна дуга самої галузі є рамкою: Xiong and Li (2026) простежують три ери — Формативну (2015–2018), Експансії (2019–2022) та Генеративну (2023–донині) — на 313 статтях і стверджують, що конструкти та аргументи валідності мають бути переписані для людсько-ШІ співпраці, оскільки моделі IRT та класичної теорії тестів будувалися на неасистованій людській продуктивності.

Як оцінювання ШІ в освіті проявляється в дослідженнях

• Надійність результату та ґрунтовна істина: Модернізація ґрунтовної істини стверджує, що проблеми надійності в оцінюванні ШІ в освіті часто сягають самих еталонних даних — позначок «ґрунтовної істини», відносно якої судять системи — і пропонує чотири зрушення на шляху до покращення надійності та валідності. Калібрування достовірності спільно проєктує метрики та візуалізації оцінювання зі стейкхолдерами, щоб довіра до інструмента ШІ спиралася на продемонстровані, інтерпретовані докази.

• Автоматизоване оцінювання та виставлення балів: Оцінювання коротких відповідей за допомогою LLM, усвідомлене щодо довіри ASAG, інженерія підказок CoTAL за участю людини в циклі та когнітивна діагностика рукописної математики показують, що LLM можуть оцінювати та діагностувати, але надійність залежить від людського нагляду, заземлення в конкретному домені та калібрування довіри, а не від сирого розміру моделі.

• Бенчмарк для педагогічних знань, а не для контенту. Lelièvre et al. (2025) оцінюють 97 моделей на завданнях чилійських учительських іспитів (CDPK 28–89%), багато з них перевершують оцінений людський базовий рівень близько 50%, проте статичні завдання з вибором відповіді не можуть перевірити планування уроку чи поступовий скаффолдинг крок за кроком.

• Валідація згенерованих завдань щодо психометричного бенчмарку. Isley et al. (2025) згенервали підігнані до курсу іспити для 71 класу та зіставили з бенчмарком ще 20 проти людських завдань AP Statistics, підбираючи байєсівську ієрархічну 2PL-модель IRT з претестовими анкорами на 1,686 студентах; завдання ШІ були легші, але більш диференціюючими (ᾱ = 1.3 проти 1.2).

• Педагогічна якість та узгодженість: Чому машини помилково читають педагогічну якість документує людсько-машинне невідповідність у судженні про те, що робить навчання добрим, а Індекс ефективності тьюторства передбачає якість тьютора з поведінки викладання. Відповідальне оцінювання в еру ШІ та автентифіковані процеси стверджують, що оцінювання має виходити далі за межі правильних відповідей до питання, чи залишається оцінювання автентичним, валідним і захищеним, коли ШІ може створювати «продукти» навчання.

• Моніторинг у продакшені та калібрування суддів: Rohlfs et al. (2026) повідомляють, що відбувається, коли оцінювання типу LLM-as-judge працює в масштабі продакшену, спираючись на набір K-12, який обслуговує мільйони повідомлень учителів і студентів щомісяця. У міру дозрівання програми хибнопозитивні результати почали домінувати серед позначок оцінювачів і відвертали увагу аналітиків від збоїв, які вимагали зміни продукту. Три зміни — панелі однодумного провалу з повторних прогонів суддів, вибір моделі-судді для кожного оцінювача та пом’якшені рубрики — знизили підтверджені хибнопозитивні результати на 99% і підвищили точність на позначку з 0.6% до 49% серед 21 розгорнутого оцінювача, тоді як набір для грубих збоїв зберіг охоплення на 100%. Урок для практики оцінювання полягає в тому, що робочу точку оцінювача, а не його заголовну точність, визначає, чи є позначка придатною до дії.

• Різноманіття суддів як протокол валідності. Бенчмарк для агентів інструкційного дизайну брав своїх суддів від різних провайдерів моделей, а не від одного, повідомляючи високу надійність між суддями на 1,017 оцінених сценаріїв (Jeon et al. (2026)).

• Перевіряйте пояснення щодо атрибуції, на яку воно претендує, а не щодо плавності. Pan et al. (2026) пропускають наративи моделі через ворота арифметичної замкненості, цитованих коваріатів, точності рішень та частоти небезпечного лікування, оскільки плавний текст однаково добре сформований незалежно від того, є його сигнал точним чи шумним — 98.8% наративів пройшли, тоді як негативний хвіст був обрізаний.

• Чутливість до підказки є властивістю першого порядку оцінювача на основі LLM. Habibullah et al. (2026) оцінили іспит з комп’ютерного зору на 570 студентів у 171 конфігурації та іспит із машинного навчання на 1,038 студентів у 162: короткий преамбул «суворого оцінювача» вивів 14 із 17 моделей з відкритими вагами з оцінюваної смуги, тоді як реплікація відтворила вразливість, але не її напрям, покращивши сім моделей, чиї нейтральні підказки завищували оцінки. Точність однієї підказки не є доказом придатного оцінювача, і підписане упередження має стояти поруч із показником середньої абсолютної помилки; донавчання LoRA на об’єднаних прикладах подвійного оцінювання довело п’ять малих моделей до людського паритету і майже згладило чутливість до персони.

• Придатний для оцінки доказ є дизайнерською змінною, а не властивістю завдання. Globerson et al. (2026) дозволили Executive LLM тримати рубрику й направляти розмову до оцінюваної вміння, підвищивши придатний для оцінки доказ до 92.4% для управління проєктами і 85% для вирішення конфліктів, тоді як пропозиція учасникам звернути увагу на вміння не змінила нічого.

Чому оцінювання важке в освіті з ШІ

Оцінювання ШІ в освіті важке з кількох причин. По-перше, надійності недостатньо — система може погоджуватися з рубрикою, але помилково судити про педагогіку, як показує дослідження людсько-машинної узгодженості. По-друге, ґрунтовна істина оскаржується — те, що вважається «правильною» відповіддю, оцінкою чи педагогічним ходом, саме є судженням, яке відрізняється між дисциплінами та експертами, згідно з модернізацією ґрунтовної істини. По-третє, освітня валідність є багатовимірною — Валідність оцінювання, Формативне оцінювання та Аутентичне оцінювання накладають різні критерії, які не може охопити жодна окрема метрика точності. Нарешті, ціль постійно рухається — агентний ШІ та Мультимодальний ШІ моделі вимагають рамок оцінювання (Агентний ШІ, оцінювання, інваріантне до інструменту), а не повторного використання бенчмарків текстових моделей. Висновки оцінювання також підлягають тим самим наскрізним обмеженням, що вражають усі дослідження AIED — вони старіють у міру покращення ШІ, залежать від відтворюваності та практик FAIR і можуть спиратися на власницькі системи — тому результати оцінювання мають читатися з огляду на застереження в Обмеження досліджень AIEd. Додатковим, новим виміром є сталий ресурс: розгортання на власних потужностях дедалі частіше повідомляють про споживання енергії та вимоги до обладнання (наприклад, VRAM, мВт·год на запит) поряд з точністю — див. сталі асистенти бази знань на власних потужностях — так що повне оцінювання зважує екологічні та інфраструктурні витрати, а не лише якість результату.

Надійність не гарантує валідності. Валідація спостереження за класом на основі LLM показує, що модель може бути дуже стабільною між повторними оцінюваннями і водночас невідповідати експертному судженню, і, навпаки, що моделі, які добре узгоджуються з експертами, часто є більш мінливими — надійність і точність роз’єднуються, тому показник точності одного проходу може перебільшувати залежність. Те саме дослідження документує упередженість на явну підказку: текстові оцінювачі на основі LLM надають перевагу явно вербалізованим поведінкам і недоважають неявним чи контекстуальним доказам (наприклад, підтримуваній студентській саморегуляції там, де рубрика дозволяє високі оцінки за критеріями, толерантними до відсутності), породжуючи систематичну, а не випадкову розбіжність. Це підкреслює, що надійність вимірювання є передумовою для — а не замінником — валідної інтерпретації, і що оцінювання має включати перевірки стабільності повторних вимірювань поряд із прив’язаною до експертів точністю.

Навіть валідована довгогоризонтна дискурсивна модель відстежує незалежні міри результатів лише слабо: оцінки Student Reasoning і Teacher Uptake у NSPA корелювали з моделями доданої вартості ефективності вчителя при ρ = 0.10, тому автоматизовані конструкти потребують зовнішньої валідації результатів, перш ніж інформувати оцінювання (Fang and Liu, 2026).

Оцінювання змодельованих здобувачів стикається з тим самим стандартом: симулятор є валідним лише тоді, коли його поведінка є епістемічно вірною, а не лише плавною, тому його мають оцінювати щодо його заявленої поведінкової меті та середовища, а не щодо загальної схожості на людину — і автоматизовані судді узгоджуються з експертними людськими перевагами приблизно 65% часу (Yuan et al. (2026)).

Агрегована точність приховує, кому обслуговують погано. Оцінювання візуально-мовних моделей на DrawEduMath показує, що загальна точність маскує систематичну слабкість: моделі працюють гірше саме на тій студентській роботі, яка потребує найбільшої педагогічної допомоги (помилковій роботі студентів, що відстають), тому дезагрегування оцінювання за рівнем володіння студента і статусом помилки є необхідним, щоб уникнути перебільшення здібності та розширення розривів у досягненнях.

Бінарна правильність приховує збої, які мають значення. На тристоронньому бенчмарку діагностики кроків із 10,836 змодельованих пар сім тьюторів на основі LLM класифікували оптимальні кроки майже бездоганно (F1 94–99%), але валідні альтернативи — з F1 0–76% і неправильні кроки — з 4–55%, тобто з надмірним відкиданням і надмірним підтвердженням — і точна діагностика все ж не давала придатного до дії зворотного зв’язку (Yasir et al. (2026)).

• Повторне використання людських інструментів для оцінювання LLM потребує перевірки латентної структури. Strugatski et al. (2026) підбирають експлораторний факторний аналіз окремо для людей і шести мультимодальних LLM: узгодженість LLM–людина залишалася нижче людсько-людського базового рівня на обох інструментах, і паралельний аналіз утримав різні кількості факторів (п’ять для людей проти чотирьох для LLM).

• Спільне оцінювання виявляє компроміси, які ховає один показник. Jiang et al. (2026) оцінюють дев’ять моделей для освіти за здібністю, безпекою, базовою освітою та високорівневим вихованням за одним протоколом: шість кращих статистично нерозрізненні в цілому, проте відрізняються на 19.5 балів за Безпекою, і Безпека сильно антикорелює з Базовою освітою (r = −0.83).

• Перекіс класів може зробити метрику оцінювання оманливою. Csibi and colleagues (2026) класифікували рівень рефлексії в 1,954 угорських есе педагогічної освіти, у яких 68% знаходилися на одному рівні: одна мілка конфігурація досягла ROC-AUC 0.7131 при точності лише 0.5162, а балансування класів знизило кожну метрику (точність 0.6672 без нього проти 0.6408 з ним). Мілкі моделі давали найкращі агреговані показники, тоді як трансформери краще справлялися з рівнями меншості, тому повідомлювана цифра має відповідати продуктивності, від якої насправді залежить рішення.

• Помилки бенчмарку та оцінювача приймаються за провал моделі. Експертне переоцінювання шести широковживаних бенчмарків з фізики перевірило 250 відхилених завдань і віднесло 143 (57.20%) до дефектів бенчмарку і 95 (38.00%) до помилок оцінювача, залишивши лише 12 (4.80%) справжніх помилок моделі, тож 95.20% виміряного розриву не могли бути віднесені до моделі. Виправлення завдань перемістило HLE-Physics mean@4 з 47.28% до 78.66%, а CritPt mean@5 — з 32.29% до скоригованих 87.50%, перетворивши очевидну слабкість фронтьєр-моделі на майже насичення. Аудит стверджує, що повідомлюваний показник є спільною властивістю моделі, банку завдань і оцінювача, і що експертне вирішення має передувати будь-якій заяві про здібності, зробленій на підставі бенчмарку. (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)

Швидкість систем, що оцінюються, є додатковим обмеженням. Harrison et al. (2026) описують часову проблему прямо: до того, як великомасштабне випробування було спроєктоване, проведено, проаналізовано й опубліковано, технологія під дослідженням могла суттєво змінитися, що штовхає практику до слабких спостережувальних даних або даних використання саме в той момент, коли потрібні сильніші докази. Їхня відповідь — не погоджуватися на слабкіші дизайни, а скорочувати цикл: керовані практиками мікровандаомізовані випробування, які зберігають причинний контраст і повторюють його в міру еволюції платформи.

• Вірність даних є окремою проблемою оцінювання, відмінною від якості результату. Синтетичні освітні когорти, що відтворюють підсумкову статистику кожної змінної, все ж можуть спотворити структуру даних: щотижневий граф близькості між здобувачами варіював у 2.6–4.9 разів менше протягом семестру в синтетичних версіях, ніж у реальних когортах, тому показник вірності не передбачає, які аналізи виживуть на реальних даних (Inoue & Yasutake, 2026).

• Точність на розподілі навчання не є придатністю до розгортання. Класифікатор рівня Блума, що набрав макро-F1 0.88 на своєму курованому банку завдань, впав до 0.48 і 0.20 на двох наборах питань, згенерованих ШІ, і ця втрата відстежувала майже повну відсутність явних дієслів-тригерів Блума, а не розмір моделі; ненавчені LLM виявилися найстійкішою опцією поза розподілом навчання (0.79 і 0.41–0.51), і донавчання на позначених даних поза розподілом відновило найбільші здобутки (до 0.82), тому перенесення має з’являтися в звіті поряд із придатністю на розподілі навчання (Castanares et al., 2026).

• Шкала складності ШІ є помічником оцінювання, а не оцінкою. Оцінки складності ШІ сильно відстежували частоту проходження на рівні задачі (rho = −0.871 на 79 задачах), але слабшали до −0.552 на вибірці CS101 зі 106 задач і наближалися до нуля на рівні іспиту, тому такі шкали належать до перегляду завдань, а не до оцінювання студентів (Yan et al. (2026)).

Зв’язки з пов’язаними поняттями

Оцінювання ШІ в освіті перебуває в центрі методів і ризиків бази знань. Воно операціоналізує Валідність оцінювання, Освітнє вимірювання та Бенчмарк у межах Оцінювання і Автоматизоване оцінювання. Його заклик до людського нагляду пов’язується з Людина в циклі та Викладання, тоді як його фокус на надійності пов’язується з Небезпека галюцинацій, Confidence Aware AI Assessment та Калібрування довіри. Розрізнення між оцінюванням продуктивності та оцінюванням навчання пов’язується з продуктивністю проти навчання та з Моделювання здобувача та адаптивне навчання; а оцінювання педагогічних агентів пов’язується з Інтелектуальний тьюторінг, Тренування LLM і дотончення та Педагогічна безпека.

Оцінювання навчальних здобутків

Центральним об’єктом оцінювання ШІ в освіті є навчальний здобуток — виміряне покращення знань чи вміння, яке створює інструмент ШІ (див. Навчальні здобутки). Суворе оцінювання здобутків вимагає вибору правильної міри результату, оскільки продуктивність і навчання розходяться: ШІ може роздувати негайну, асистовану ШІ продуктивність задач, залишаючи тривале, неасистоване навчання незмінним чи зниженим (див. Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build, The Generative AI Learning Penalty: Evidence from Chinese Secondary Education). Тому ефективне оцінювання здобутків:

• Використовує неасистовані, стійкі до ШІ міри результату. Докази захисних бар’єрів та дослідження підсумкового оцінювання показують, що під наглядом, за закритими книгами, неасистовані міри — а не асистована домашня робота чи робота вдома — виявляють справжні навчальні здобутки.
• Розрізняє асистовану продуктивність від тривалого навчання. Метааналіз показує, що ШІ може давати великі здобутки продуктивності без значного навчального здобутку (g ≈ 0), тому оцінювання мають повідомляти обидва.
• Покоління технології може не мати значення, а дані про витрати відсутні. Burneo et al. (2026) об’єднують 14 рандомізованих випробувань до середнього навчального здобутку 0.125 sd, причому генеративний ШІ не показує переваги над ранішим адаптивним програмним забезпеченням (0.022 sd, SE 0.075), а порівнянні витрати на студента повідомлялися лише у двох чи трьох дослідженнях.
• Поєднує пре/пост міри з перевірками валідності. Валідність оцінювання і Освітнє вимірювання заземлюють вимірювання здобутків; метааналітичний огляд об’єднує розміри ефекту між дослідженнями, щоб встановити доказову базу здобутків галузі.
• Дезагрегує за здобувачем і контекстом. Оскільки Навчальні здобутки варіюють за населенням, доменом і конфігурацією ШІ, оцінювання має повідомляти здобутки для різних підгруп студентів (наприклад, за попереднім рівнем володіння, як виявляють оцінювання VLM для статусу помилки), а не єдиний агрегат, і має пов’язувати висновки про здобутки з Метааналіз і систематичний огляд, щоб розмістити їх у ширшій доказовій базі.

Потрібні бенчмарки, зумовлені контекстом: Zhang et al. (2026) стверджують, що попередні бенчмарки тьюторства (MathTutorBench, MRBench, LearnLM) винагороджують один бік дилеми допомоги або дають невизначені вказівки. TutorMoments замість цього відтворює визначені вчителями педагогічні точки рішень, оцінюючи, чи є допомога тьютора відповідною до конкретної миті навчання — Скаффолдинг проти суворості.

• Метрика, яку ви оберете, може обернути ваші висновки. Zhang et al. (2026), оцінюючи агентів викладання ШІ в медичній освіті, виявили, що нерозкриті агреговані показники освітньої платформи ранжували агентів майже протилежно до прозорої, валідованої експертами рубрики якості викладання з 8 вимірів (точність медичних знань, педагогічне керівництво, охоплення знань, якість рольової гри, адаптивна складність, медична безпека, залученість, зворотний зв’язок). Показники платформи індексують продуктивність студента; рубрика індексує поведінку викладання агента — вибір неправильної метрики визначає, яких агентів приймуть чи вдосконалять. Вони також виявили, що поблажливість LLM-as-evaluator відрізняється за моделлю (деякі занадто поблажливі, щоб диференціювати), тому автоматизоване оцінювання потребує людської калібрування і є найбільш достовірним на вимірах когнітивного процесу.
• Частота помилок може ховати збій, який має виявляти. Stanchev (2026) надіслав один запис перетворення тексту в мову англомовного медичного уривка до чотирьох сервісів ASR: два безкоштовні сервіси повернули 87.96% і 88.34% еталону, тоді як два платні сервіси повернули попередні версії на 32.76% і 55.35% і тому набрали частоти словесних помилок 73.21% і 48.77%. Високі частоти помилок походили від токенів, які ніколи не поверталися, а не від невірно розпізнаних, тому ранжування лише за частотою помилок розглядало обмеження експорту як збій транскрипції. Охоплення має стояти поряд із частотою помилок щоразу, коли автоматизована метрика заступає артефакт, який бачить здобувач.
• Прив’язуйте набори оцінювання до виміряного навчання, а не до сурогатів. Бенчмарки здібності викладання, рубрики розмовної педагогіки та затримку тьютора мають валідовувати щодо фактичних навчальних здобутків, а не розглядати як їх замінники, і затримка сама є віссю оцінювання, оскільки вона визначає, чи взаєлідіють студенти взагалі (Northcutt et al., 2026).
• Оцінювання на основі експертного судження потребують власного обліку надійності. Puech et al. (2026) дали 25 експертам із відповідного домену оцінити 92 згенерованих лекційних відео за рубрикою, прив’язаною до «якості стандартної MOOC-лекції», визнавши 87% на рівні або вище порогу (середнє 3.42 із 5). Кожне відео було оцінене один раз одним перевіряючим (k = 1), тому дизайн розподіляє панель по корпусу ціною статистики узгодженості між оцінювачами; модель з випадковим перетином віднесла приблизно 35% залишкової дисперсії до перевіряючого (ICC = 0.35), і стаття повідомляє інтервали, кластеризовані за перевіряючим, замість єдиної цифри точності. Оцінювання, побудоване на експертному судженні, є лише таким сильним, як аналіз надійності, який воно публікує.

Пов’язані поняття

• Тлумачення та застосування досліджень AIEd
• Освітні дослідження з підтримкою ШІ — AI-Assisted Educational Research
• Валідність оцінювання — Validity of interpretation in AI-ed evaluation
• Освітнє вимірювання — Measurement theory for assessing learning
• Психометрично обізнаний ШІ — Applying psychometrics to AI-based assessment
• Бенчмарк — Standardized benchmarks for evaluating AI systems
• Автоматизоване оцінювання — AI-based grading and scoring systems
• Аналітика навчання — Data-driven analysis of learning behavior
• Методи досліджень в AIED — Research methods for AI in education
• Навчальні здобутки — Measuring learning gains from AI tools
• Формативне оцінювання — Ongoing assessment to guide instruction
• Підсумкове оцінювання — Summative assessment: AI-resistant formats (oral, proctored, closed-book exams)
• Аутентичне оцінювання — Assessment of real-world, transferable performance
• Людина в циклі — Human oversight of AI evaluation
• Калібрування довіри — Calibrating trust in AI systems
• Небезпека галюцинацій — Risk of fabricated content in AI outputs
• Інтелектуальний тьюторінг — Evaluating AI tutoring systems
• Агентний ШІ — Evaluating autonomous AI agent behavior

Пов’язані статті

• What Platform Scores Miss: Multidimensional Evaluation of AI Teaching Agents in Medical Education — What platform scores miss: multidimensional evaluation of AI teaching agents
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Do assessment instruments measure the same thing for humans and LLMs? (Strugatski et al. 2026)
• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Assessing the quality of AI-generated exams: a large-scale field study
• Neuro-symbolic pedagogical alignment (NSPA) for long-horizon classroom discourse analysis: Mitigating dialect bias via counterfactual preference optimization — Neuro-symbolic pedagogical alignment (NSPA)
• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most — Three-way classification benchmark of LLM tutoring agents (Yasir et al. 2026)
• The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors — Evaluating VLMs on DrawEduMath: error content hardest (Lucy et al. 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — Benchmarking LLM pedagogical knowledge (CDPK + SEND)
• Validating AI-generated classroom observations: Reliability, accuracy, and limits of LLM-based pedagogical judgment — LLM classroom observation validation: reliability vs accuracy (Melo et al. 2026)
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — On-premise OER AI knowledge-base assistants: multi-dimensional evaluation
• Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education — Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity
• Calibrating Trustworthiness: Co-Designing Metrics and Visualizations for Evaluating LLMs in Education — Calibrating Trustworthiness: Co-Designing Metrics and Visualizations
• TeachBench - Evaluating LLM Teaching Ability — TeachBench: Evaluating LLM Teaching Ability
• Why Machines Misread Pedagogical Quality: Human-Machine Alignment in LLM-Based Pretest Question Evaluation — Why Machines Misread Pedagogical Quality: Human-Machine Alignment
• Confidence Estimation in Automatic Short Answer Grading with LLMs — Automatic Short Answer Grading With LLMs
• CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback — CoTAL: Human-in-the-Loop Prompt Engineering for Formative Assessment
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Benchmarking LLMs for Diagnosing Students' Cognitive Skills
• The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality from Four Conversation Signals — The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — ISD Agent Benchmark
• A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI — A Tool-Invariant Framework for Teaching and Assessing Computational Methods
• Towards Valid Student Simulation with Large Language Models — Toward Valid Student Simulation With Large Language Models
• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — From Evaluated Models to Evaluation Aids
• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — The Theoretical Foundation of Socratic Tests
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Responsible Assessment in the AI Era
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — From Authentic Products to Authenticated Processes
• Generative AI technologies and educational outcomes: a comprehensive meta-analysis comparing traditional and AI-driven approaches — Meta-analysis of generative AI educational outcomes
• When Help is Unhelpful: Evaluating AI Tutors for Productive Struggle — When Help is Unhelpful: evaluating AI tutors for productive struggle
• ELBench: A Multi-Dimensional Benchmark for Education-Facing Large Language Models — ELBench: education LLM benchmark
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — AI grading of handwritten physics assessments (Olympiad)
• Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Distilling self-explaining LM for learning analytics
• Can EdTech Close Learning Gaps? Global Evidence from Digital Interventions — Meta-analytic evaluation of adaptive + AI EdTech
• A Decade of Reflection and Thematic Review on Artificial Intelligence's Impact on Educational Measurement — AI's role across scoring, psychometrics, assessment
• Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science — Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomized Trials of an AI Tutoring Platform in GCSE Science
• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: Process-Based Math Item Quality Assessment
• Towards Scalable Measurement of Durable Skills — Toward Scalable Measurement of Durable Skills
• From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning — From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI and human tutoring yield equivalent GRE learning gains
• What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data — What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions
• When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI — When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI