Бенчмарк

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Бенчмарк — стандартизовані набори тестів і рамки оцінювання, що використовуються для вимірювання успішності моделей ШІ на освітніх завданнях. Бенчмарки забезпечують відтворюване порівняння між моделями та підходами й є необхідними для оцінювання надійності, справедливості та pedagogical якості систем ШІ в освіті.

Питання для роздумів

• Бенчмарк — це стандартизований набір тестів для вимірювання успішності моделей ШІ на освітніх завданнях. Перш ніж читати далі: що, на вашу думку, насправді перевіряє більшість бенчмарків ШІ — і чому це може бути іншою річчю, ніж те, що потрібно хорошому тьютору?
• На цій сторінці висвітлено Pedagogy Benchmark, який перевіряє педагогічні знання — стратегії teaching, методи оцінювання, педагогіку спеціальної освіти, — а не знання змісту. Чому ШІ, який блискуче знає предмет, усе одно може провалити його викладання — і чому бенчмарк, що ігнорує педагогіку, цього не помітить?
• Один урок тут є methodological: спосіб валідації бенчмарка докорінно змінює результати, і наївна валідація повідомляє значно вищу успішність, ніж ретельні методи, незалежні від випробувань. Як може спокуситись розробник моделі чи постачальник сконструювати валідацію так, щоб вона виглядала добре, — і як би ви це виявили?
• Успішність на бенчмарку часто не переноситься в реальну користьність. Чи можете ви навести сценарій, де ШІ «виграє» бенчмарк, але провалюється в справжній аудиторії — і що цей розрив говорить вам про опирається лише на бенчмаркові бали?
• Сторінка зазначає, що сама конструкція бенчмарка може кодувати або посилювати упередженість. Якщо бенчмарк складається з певних завдань, певними мовами, від певних популяцій, чиє навчання він зрештою вимірює — і чиє ігнорує?

Вступ

Бенчмарки слугують доказовою основою AI in education research. Вони дають стандартизовані набори даних, завдання та метрики, що дозволяють дослідникам порівнювати моделі, відстежувати прогрес і виявляти режими відмови. У дослідженнях бази знань бенчмарки постають у кількох доменах:

• CSTutorBench оцінює малі мовні моделі на завданнях тьюторства з комп’ютерних наук.

• ANVIL порівнює згенеровані ШІ освітні анімації зі створеними людиною альтернативами.

• Teaching feedback benchmarks оцінюють міжмовний перенос класифікації feedback quality.

• The Pedagogy Benchmark (CDPK + SEND) перевіряє педагогічні знання — стратегії assessment methods та special-education pedagogy, — а не знання змісту, і повідомляє «фронтир цінності» між вартістю та точністю на 97 моделях (більшість загальних бенчмарків перевіряють знання змісту; педагогіка — окремий, критичний для освіти вимір).

• ISD-Agent-Bench перевіряє агенти інструкційного instructional-design на основі Великі мовні моделі (LLM) у 25 795 сценаріях інструкційного конструкціювання, показуючи, що гібридні агенти, засновані на класичних рамках ISD (ADDIE, Dick & Carey, Rapid Prototyping), перевершують або чисту теорію, або чисту техніку — результат бенчмарка з прямими наслідками для конструкціювання agentic AI в освіті.

• Адаптація під здобувача як явний критерій бенчмарка. The Teaching Monster Challenge оцінює адаптацію до заданої персони здобувача, але його автоматичний суддя-LLM розділив лише слабкий хвіст — найкращі системи набрали близько його стелі, а його ранжування розійшлося з уподобанням натовпу (Spearman ρ = −0.17) (Lin et al. (2026)).

Чому бенчмарки мають значення в AIED

Бенчмарки пов’язані з Оцінювання ШІ в освіті та Валідність оцінювання — без ретельних бенчмарків твердження про ефективність AI tutoring неперевірні. Вони також перетинаються з Пом’якшення упередженості, оскільки конструкція бенчмарка може кодувати або посилювати упередженості. Напруженість між успішністю на бенчмарку та реальною користністю розглядається в кількох статтях, у зв’язку з занепокоєннями щодо Перенесення навчання у застосуваннях Генеративний ШІ.

• Коли відмовляє метрика, а не система: AlgoRAG набрав BLEU-4 = 0,0000 на всіх 179 теоретичних екзаменаційних питаннях з computer science, тоді як педагогічна рубрика з шести критеріїв дала 0,7620, бо логічно еквівалентні доведення регулярно розходяться в позначеннях, іменах змінних і стратегії доведення. Нульовий бал говорить більше про перетин n-грам, ніж про якість відповіді, — і це загальний аргумент проти того, щоб робити поверхневі метрики головним числом для систем AIED у формальних доменах.

• Контрфактичні бенчмарки на рівні конструкту. CFES-P24 виражає принципи мультимедійного навчання як детерміністичні, оборотні трансформації слайдів, щоб перевіряти, чи реагують MLLM на конкретні конструкти інструкційного конструкціювання, а не дають правдоподібні цілісні оцінки. Заморожений пілотний запуск показав розпізнавання конструкту (операція, принцип, відновлення, локалізація свідчення) на рівні 8/8, тоді як порівняльне судження (напрям 6/8) і калібрування серйозності (0/8) провалились — що аргументує на користь багатошарових таблиць оцінок замість складових балів.(Benchmarking Multimodal Large Language Models for Educational Slide Auditing)

• Грунтуйте галюцинацію та енергію в оцінюванні, а не лише в точності. Shen et al. (2026) оцінили галюцинацію як імплікацію проти відібраних шматків із відкритою ліцензією (κ = 0,76 з експертним судженням) і записали 1,8 мВт·год на запит, а їхня абляція поставила пошук на перше місце: локальна LLM без нього набрала 52,3%, нижче за базовий рівень TF-IDF у 55,4%.

• Перевірка може перевершити судження на згенерованому вмісті. Kumar et al. (2025) зворотно переводять згенеровані математичні діаграми в проміжне представлення з обмеженнями за схемою й запускають детерміністичні перевірки за правилами, досягаючи вищої згоди з людьми-оцінювачами (Cohen’s κ 0,48–0,56), ніж LLM-as-a-Judge (0,39–0,47), і дозволяючи малій моделі зрівнятись з найкращим суддею при вартості в 10 разів нижчій.

• Оцінювання, незалежне від випробувань, у фізіологічних бенчмарках. Nanayakkara & Halloluwa (2026) перевіряють 15 моделей ML/DL на передбаченні знайомості за ЕЕГ і показують, що вибір схеми валідації докорінно змінює головні результати: стандартна стратифікована крос-валідація допускає часовий витік і повідомляє F1 до 0,9853, тоді як незалежна від випробувань валідація Group K-Fold знижує пік до 0,6038 F1. Урок — усвідомлене часу та витоків оцінювання необхідне для достовірних освітніх бенчмарків — поширюється далі за ЕЕГ на будь-який бенчмарк, що використовує послідовні або часово структуровані дані.

• Зсув розподілу — друга вісь бенчмарка, окрім витоку. Бенчмарк, що повідомляє бал класифікатора всередині розподілу та його бал перенесення, повідомляє дві різні величини: класифікатор за рівнем Блума, утримуваний на macro F1 0,88 на своїм курованому банку, впав до 0,48 і 0,20 на двох наборах питань, згенерованих ШІ, а перетренування на розмічених даних поза розподілом відновило до 0,82, тож єдине число таблиці лідерів всередині розподілу перебільшує те, що зробить розгорнутий інструмент (Castanares et al., 2026).

• Корпус, побудований для перевірки міжкорпусного перенесення. ICLE++ розмічує переконливі есеї цілісними та десятью бальними оцінками на рівні рис, щоб виявити опору досліджень AES на ASAP, чиї есеї з обмеженням за часом і лише від носіїв мови плутають довжину з якістю; моделі, натреновані на розмітках рис, переносилися між корпусами краще, ніж натреновані лише на цілісних оцінках (Li & Ng, 2026).

• Бенчмарк, нормований на людей, може не вимірювати той самий конструкт для LLM. Strugatski et al. (2026) порівняли структури відповідей людей і мультимодальних LLM на діагностиці з хімії та іспиті з кількісного мислення; конгруентність факторів між LLM і людьми залишалася нижче за базовий рівень «людина–людина», а паралельний аналіз утримав різні кількості факторів.

• Мультимодальність не покращила калібрування свідчень. На MathCog, 3036 позначок викладачів на 639 рукописних математичних відповідях, жодна з 18 LLM не досягла macro F1 0,5 — найкраща, GPT-4o-img, набрала 0,448 — і мультимодальні моделі деградували сильніше за текстові, коли свідчення були невизначеними, приписуючи свідченням забагато та фабрикуючи цитати (Kim et al. (2025)).

• Синтетичні бенчмарки для ШІ-тьюторства. Відкриті, відтворювані набори даних для оцінювання ШІ-тьюторства залишаються дефіцитними. ASTRA (Adaptive Socially-intelligent Team Reasoning Agents) — це мультиагентний прототип тьютора й рамка бенчмарка для вивчення колаборативного програмування з соціально диференційованими агентами, що підтримує конфігурації тьютор-сам, пара тьюторів і пара мультиагентів (N=540; 360 сесій; 1440 епізодів) зі схемою, готовою до трасування, для відтворюваного аналізу взаємодії, балансу участі та перевірки.

• Горизонт — вісь бенчмарка, а не деталь. Lee et al. (2026) поміщають агента-тьютора в безперервні 30-денні стосунки зі змодельованим здобувачем і знаходять, що кожен адаптер вийшов на плато до дня 5–10, жоден адаптер не дав приросту в навчанні більш ніж на одному рівні базової моделі, а п’ять осей оцінювання були переважно незалежними.

• Бенчмарк тьюторства, оцінений проти людських тьюторів, а не проти таблиць лідерів. StudentBench рандомізує 2383 дорослих між ШІ-тьюторством, живим експертним людським тьюторством і відеоконтролем на новонаписаних завданнях GRE, знаходячи, що зведене ШІ-тьюторство статистично еквівалентне людському (p=.015) і на 5,5–6,9 процентних пунктів вище за контроль; його таблиці лідерів якості викладання, побудовані з 2028 експертних парних порівнянь, ранжують плани занять і розмовну поведінку, а не те, скільки навчилися студенти (Northcutt et al. (2026)).

• Аудит бенчмарків тепер сам по собі є дослідницьким внеском. Три артефакти 2026 року просувають роботу з бенчмарків далі за агрегацію таблиць лідерів. EduFair-Bench утримує змодельованого студента фіксованим і варіює демографічні атрибути, перетворюючи бенчмарк тьюторства на аудит справедливості з педагогічними метриками на рівні ходу (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics). GeoVAD-Bench діагностує проміжні візуальні конструкції — сприйняття, якість допоміжних засобів, утилізацію — а не кінцеву правильність на 600 задачах із geometry (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving). Переоцінювання експертами шести бенчмарків із physics квантифікувало помилку, яку несуть такі бали: 57,20% перевірених відкидань були дефектами завдань, 38,00% — помилками оцінювачів і лише 4,80% — справжніми відмовами моделей (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Разом вони аргументують, що бенчмарковий бал завжди слід читати з його власним перевіреним бюджетом помилки — це та ж дисципліна, якої Валідність оцінювання вимагає від інструментів в аудиторії.

• Відокремлена розмітка і генерація завдань як парадигма конструкції. Більшість бенчмарків будують специфічні для завдання пари «питання–відповідь» на кожний елемент або зображення, що робить розширення на нові завдання дорогим, ускладнює повторне використання даних між завданнями й залишає обмежений контроль над формою та складністю питань. MUSE інвертує порядок: розмітити кожен твір мистецтва один раз у повторно використовуване структуроване представлення його візуального та семантичного вмісту, а потім інстанціювати 12 завдань із заздалегідь визначених правил генерації, тож одне зображення дає багатовидовий екземпляр оцінювання, де складність і формат трактуються як явні змінні конструкції, а не як побічні продукти (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education). Його свідчення про кореляцію — другий аргумент на користь конструкції: 12 завдань вимірюють пов’язані, але не надлишкові здібності (Jigsaw Puzzle слабо корелює з більшістю інших, ρ = 0,25 до −0,10), а на шести зовнішніх бенчмарках загальні мультимодальні бали переносяться нерівномірно на художні освітні образи (BLINK Jigsaw проти MUSE Jigsaw ρ = −0,20), що є аргументом покриття конструкту проти того, щоб читати будь-який єдиний зведений бал як проксі освітньо релевантної здібності (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).

• Генерація мультимодального результату — вісь, яку більшість бенчмарків опускає. Chen et al. (2026) оцінили 15 246 фізичних питань і 19 850 зображень від середньої школи до університету, включно з піднабором редагування діаграм: синтез або редагування структурованих фізичних діаграм виявилися складнішими за відповіді на питання, і провідні моделі залишалися нижче 70% строгого володіння.

• Покриття природничих наук K-12 і проблема насичення. Бенчмарк, узгоджений з NGSS для природничих наук середньої та старшої школи (1078 + 1150 синтетичних елементів, перевірених трьома суддями), виявив дев’ять моделей з відкритими вагами вище 90% точності при одному пострілі, тоді як класична статистика елементів показала високі значення складності та низьку дискримінаційність: розмір моделі не передбачав успішності, а автори запитують, чи тест не надто простий (A Benchmark for LLM's Understanding of Middle School and High School Science Topics). Це доменно-специфічний аргумент за читання власної статистики елементів бенчмарка поряд з його таблицею лідерів.

• Тривіальний базовий рівень і правда IRT як перевірка головної точності. Worden et al. (2026) будують FoundationalASSIST з 1 722 169 взаємодій ASSISTments зі збереженим текстом завдань і фактичними відповідями студентів, оцінюють завдання трасування знань проти базового рівня «завжди правильно» у 51,3 відсотка і читають компетентність моделей проти оцінок із двома параметрами IRT, підігнаних на тих самих даних. Чотири провідні моделі перевершують тривіальний базовий рівень приблизно на п’ять пунктів (найкраща 56,2 відсотка), падають нижче за випадковий рівень при судженні дискримінаційності елементів і — відмова, яку бачить бенчмарк, побудований саме для цієї мети — передбачають правильність у 85,4 відсотка випадків на правильних відповідях, але лише у 12,6 відсотка на неправильних, тож їхня видима вправність — це упередженість оптимізму.

• Конфігурація оцінювача сама є змінною. Habibullah et al. (2026) проганяють 171 конфігурацію оцінювання на іспиті з подвійним оцінюванням для 570 студентів і знаходять, що коротка преамбула «строгого оцінювача» вибиває 14 із 17 моделей з відкритими вагами за межі оцінюваної смуги, а потім відтворюють це з 162 конфігураціями на незалежному іспиті для 1038 студентів, чиї результати відтворюють вразливість, але не її напрям. Отже, найкраща конфігурація (MAE 1,64/35, нижче за 2,61/35, яких досягають людські оцінювачі один проти одного) не є свідченням, що оцінювання LLM працює — хоча один адаптер LoRA, натренований на зведених людських позначках, доводить п’ять малих моделей до людського паритету, майже зітруючи чутливість до персони.

• Обмеження корпусу, щоб твердження про здібність було атрибутивним. Li et al. (2026) фільтрують FineWeb-Edu до 88B токенів матеріалу США для K–5 і тренують з нуля модель 5B на ньому, а потім перевіряють шов через поведінкові проби, а не через бали — утримання близьке нуля на пасажах Beyond-K–5, крах на завданнях Beyond-K–5 Jeopardy і менше половини розв’язаних задач Grade 8 MathCAMPS навіть при pass@1024. Оскільки попереднє знайомство відоме, здібність, що з’являється після масштабування, посттренування чи прикладів у контексті, може бути віднесена до втручання; автори також повідомляють, що межа не є людської форми, бо модель іноді перевершує наступну навичку, провалюючи її передумову.

• Правило оцінювання — частина інструмента. Srivastava (2026) прогоняє чотири правила оновлення трасування знань на тих самих послідовностях подій ASSISTments 2012–13, що розрізняються лише тим, як вони оцінюють рядки з підказками, і пререєструє порівняння за огорожею, яка утримує підтвердну половину студентів до появи файлу реєстрації. Зарахування будь-якого завершення ледь перевершує константу навичка–складність (зведений AUC 0,604 проти 0,595 на 985 813 оцінених подіях) і оголошує 93,9 відсотка пар «студент–навичка» опанованими проти 72,8 відсотка за правилом, яке читає рядки з допомогою як спочатку провалені спроби (0,658) — загальний урок у тому, що позначка володіння визначається правилом свідчення, а не логом.

• Повідомляйте здібність моделі як калібрований рівень, а не лише як точність. Min et al. (2026) проектують 624 експертно розмічених елемента на названі рівні володіння мовою, використовуючи 2050 відповідей здобувачів, і знаходять, що провідні моделі перевершують калібровану стелю — межа, яку ховає відсоток.

• Правило оцінювання може бути зігране моделлю, яку воно тренує. Метрика адаптивності, максимізована повторенням одного найкращого рішення, показує, що конструкція бенчмарка має публікувати аргмаксимум, оцінювати адаптивність як різницю й повідомляти базові рівні вище за випадкові (Domínguez Figaredo & Fernández De la Cruz, 2026).

Пов’язані поняття

• Оцінювання ШІ в освіті
• Пом’якшення упередженості
• Людина в циклі
• Формативне оцінювання
• Відстеження знань
• Генеративний ШІ
• Автоматизоване оцінювання есе

Пов’язані статті

• Standardized Assessment of LLM English Proficiency — Бенчмарк володіння англійською з 624 елементів, що повідомляє здібність моделі як калібрований рівень (Min et al. 2026)
• OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Чи вимірюють інструменти оцінювання одне й те саме для людей і LLM? (Strugatski et al. 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — Pedagogy Benchmark: педагогічні знання LLM (CDPK + SEND)
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — ISD-Agent-Bench: бенчмаркінг агентів інструкційного конструкціювання на основі LLM
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — Асистенти бази знань ОВК на власній інфраструктурі: багатовимірний бенчмарк
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — Від автентичних продуктів до автентифікованих процесів: автентичне оцінювання в освіті вищої школи, насиченій ШІ
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Бенчмаркінг великих мовних моделей на діагностиці когнітивних навичок студентів із рукописних математичних робіт
• EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners — EduClaw-Bench: бенчмарк із довгим горизонтом для педагогічних агентів LLM зі змодельованими здобувачами
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Відповідальне оцінювання в еру ШІ: ключові висновки з конференції, зосередженої на майбутньому
• ANVIL: Analogies and Videos for Lecturers — ANVIL: аналогії та відео для викладачів
• ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring — ICLE++: моделювання детальних рис для цілісного оцінювання есеїв
• Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents
• Benchmarking Multimodal Large Language Models for Educational Slide Auditing — CFES-P24: бенчмаркінг мультимодальних LLM на аудит слайдів
• DiagramIR: An Automatic Pipeline for Educational Math Diagram Evaluation — DiagramIR: бенчмарк для оцінювання згенерованих математичних діаграм
• Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction — Автоматизація оцінювання здобувачів: передбачення знайомості на основі ЕЕГ
• AlgoRAG: Retrieval-Augmented Generation for Theoretical Computer Science Education -- A Comprehensive Evaluation Framework for Algorithm Analysis and Complexity Theory — AlgoRAG: генерація, посилена пошуком, для освіти з теоретичних комп’ютерних наук — комплексна рамка оцінювання аналізу алгоритмів і теорії складності
• MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education — MUSE: конструкція бенчмарка на основі спочатку розмітки й генерації завдань і нередундантність на рівні вимірів між 12 завданнями на художніх образах (Zhu et al. 2026)
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: ШІ- і людське тьюторство дають еквівалентні навчальні здобутки за GRE
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Оцінювання заздалегідь натренованих моделей для педагогічної оцінки нових освітніх питань, створених із ШІ
• A Benchmark for LLM's Understanding of Middle School and High School Science Topics — Бенчмарк для розуміння темами LLM природничих наук середньої та старшої школи
• The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring — Вісім принципів конструкції бенчмарків ШІ-тьюторів, виведених із метрики, оптимізованої в повторення (Domínguez Figaredo & Fernández De la Cruz 2026)