Оценивание ИИ-образования

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Оценивание ИИ-образования — совокупность методов, бенчмарков и критериев, используемых для оценки того, действительно ли работают инструменты AI education (репетиторы на основе Большие языковые модели (LLM), automated graders, системы обратной связи, агенты), — и не только по заявленной точности, но по надёжности, pedagogical качеству, валидности и реальному влиянию на обучение. Повторяющаяся тема исследований базы знаний состоит в том, что оценивание должно быть предметно-специфичным, учитывающим надёжность и опирающимся на человеческое суждение и образовательные результаты, а не на отдельные агрегированные показатели точности.

Вопросы для размышления

• Как бы вы решили, «работает» ли инструмент ИИ-репетиторства? Какие свидетельства — помимо заявленного показателя точности — убедили бы вас, что он действительно улучшает обучение?
• Ключевой результат состоит в том, что надёжность не гарантирует валидности: система может быть высоко согласованной и при этом неверно судить о том, как выглядит хорошее преподавание. Почему стабильный, воспроизводимый ИИ может всё же ошибаться?
• Оценивание должно быть предметно-специфичным — бенчмарк, работающий для одного предмета, может ввести в заблуждение для другого. Когда вы видите блестящий результат бенчмарка для инструмента ИИ, что вы захотели бы проверить об этом контексте?
• «Эталонные данные», по которым оцениваются системы, часто оспариваются — что считается правильным ответом или оценкой, варьируется между экспертами и дисциплинами. Как эта неопределённость осложняет доверие к любому оцениванию?
• Исследования показывают, что текстовые оценщики на основе LLM привилегируют явно вербализованные поведения и недопредставляют неявный контекст — «предвзятость к явным ориентирам». Какого рода хорошее преподавание машина может систематически упускать, поскольку ищет только очевидное?
• Современное оценивание также взвешивает экологическую и инфраструктурную цену — энергию, оборудование, — а не только качество результата. Должен ли Устойчивое развитие учитываться в том, как вы судите о ценности инструмента ИИ?

Введение

Оценивание ИИ-образования охватывает несколько различных объектов оценивания. Оно может оценивать результат (верен ли и надёжен ли ответ, оценка или обратная связь ИИ?), процесс (поддерживает ли инструмент валидное, защитимое оценивание и обучение?) и агента (преподаёт ли ИИ-репетитор или агент эффективно и ведёт ли себя надлежащим образом?). Каждый требует разных методов и поднимает разные вопросы валидности.

Десятилетняя дуга самой области сама по себе является рамкой: Xiong and Li (2026) прослеживают три эры — Формативную (2015–2018), Экспансии (2019–2022) и Генеративную (2023 — настоящее время) — по 313 статьям и утверждают, что конструкции и аргументы валидности должны быть переписаны для human–AI collaboration, поскольку модели IRT и классической теории тестов строились на неассистированной человеческой успеваемости.

Как оценивание ИИ-образования проявляется в исследованиях

• Надёжность результата и эталонные данные: Modernizing ground truth утверждает, что проблемы надёжности в оценивании ИИ-образования часто восходят к самим справочным данным — меткам «эталона», по которым оцениваются системы, — и предлагает четыре сдвига в сторону улучшения надёжности и валидности. Calibrating trustworthiness совместно с заинтересованными сторонами проектирует метрики оценивания и визуализации так, чтобы доверие к инструменту ИИ опиралось на продемонстрированные, интерпретируемые свидетельства.
• Автоматическое оценивание и выставление оценок: LLM short-answer grading, confidence-aware ASAG, CoTAL human-in-the-loop prompt engineering и cognitive-diagnosis of handwritten math показывают, что LLM могут оценивать и диагностировать, но что надёжность зависит от human oversight, предметной опоры и калибровки уверенности, а не от размера модели как такового.
• Бенчмарк для педагогического знания, а не контента. Lelièvre et al. (2025) оценивают 97 моделей по заданиям чилийского экзамена для преподавателей (CDPK 28–89%), причём многие превосходят оценочный ~50% человеческий базовый уровень, однако статические задания с выбором ответа не могут проверить планирование уроков или скаффолдинг ход за ходом.
• Верификация сгенерированных заданий против психометрического бенчмарка. Isley et al. (2025) сгенерировали экзамены, подогнанные под курс, для 71 класса и провели бенчмаркинг ещё 20 против составленных человеком заданий AP Statistics, подгоняя байесовскую иерархическую модель 2PL IRT с анкерами предтеста по 1686 студентам; задания ИИ были легче, но более различающими (ᾱ = 1,3 против 1,2).
• Педагогическое качество и согласованность: Why machines misread pedagogical quality документирует рассогласование человека и машины в суждении о том, что делает обучение хорошим, а the Tutoring Effectiveness Index предсказывает качество репетитора по поведению преподавания. Responsible assessment in the AI era и authenticated processes утверждают, что оценивание должно выходить за пределы правильных ответов к вопросу о том, остаётся ли оценивание аутентичным, валидным и защитимым, когда ИИ может производить «продукты» обучения.
• Мониторинг в продакшене и калибровка судей: Rohlfs et al. (2026) сообщают, что происходит, когда оценивание «LLM-как-судья» работает в масштабе продакшена, опираясь на набор для K-12, обслуживающий миллионы сообщений преподавателей и студентов каждый месяц. По мере взросления программы ложные срабатывания стали доминировать в пометках оценщиков и отвлекать внимание аналитиков от сбоев, оправдывавших изменение продукта. Три изменения — панели единогласного провала из повторных прогонов судей, выбор модели-судьи для каждого оценщика и смягчённые рубрики, — снизили подтверждённые ложные срабатывания на 99% и повысили точность на пометку с 0,6% до 49% по 21 развёрнутому оценщику, причём набор вопиющих сбоев сохранял полноту выявления на уровне 100%. Урок для практики оценивания: рабочую точку оценщика, а не его заявленную точность, решает, является ли пометка применимой.
• Разнообразие судей как протокол валидности. Бенчмарк для агентов учебного проектирования черпал своих судей из разных провайдеров моделей, а не из одного, сообщая высокую надёжность между судьями по 1017 оценённым сценариям (Jeon et al. (2026)).
• Аудируйте объяснение по той атрибуции, которую оно заявляет, а не по беглости. Pan et al. (2026) фильтруют наррации модели по арифметической замкнутости, процитированным ковариатам, верности решений и частоте небезопасного воздействия, поскольку беглый текст одинаково хорошо сформирован независимо от того, точен его сигнал или шумен, — 98,8% нарраций проходили, тогда как отрицательный хвост был усечён.
• Чувствительность к промпту — свойство LLM-оценщика первого порядка. Habibullah et al. (2026) оценивали экзамен по computer-vision с 570 студентами в 171 конфигурации и экзамен по машинному обучению с 1038 студентами в 162 конфигурациях: короткая преамбула «строгого оценщика» выводила 14 из 17 моделей с открытыми весами из полосы оценивания, тогда как репликация воспроизводила уязвимость, но не её направление, улучшая семь моделей, чьи нейтральные промпты переоценивали. Точность одного промпта не является свидетельством пригодного оценщика, а знаковая предвзятость должна стоять рядом с показателем средней абсолютной ошибки; дообучение LoRA на объединённых парах двойного оценивания довело пять малых моделей до человеческого паритета и почти стёрло чувствительность к персоне.
• Оцениваемое свидетельство — переменная проектирования, а не свойство задачи. Globerson et al. (2026) позволили LLM-исполнителю держать рубрику и направлять разговор к оцениваемому навыку, подняв оцениваемое свидетельство до 92,4% для управления проектами и 85% для разрешения конфликтов, тогда как просьба к участникам уделять внимание навыку не меняла ничего.

Почему оценивание трудно в ИИ-образовании

Оценивание ИИ-образования трудно по нескольким причинам. Во-первых, надёжности недостаточно — система может согласовываться с рубрикой и при этом неверно судить о педагогике, как показывает human–machine alignment research. Во-вторых, эталонные данные оспариваются — что считается «правильным» ответом, оценкой или преподавательским ходом, само является суждением, варьирующимся между дисциплинами и экспертами, согласно ground-truth modernization. В-третьих, образовательная валидность многомерна — Валидность оценивания, Формативное оценивание и Аутентичное оценивание навязывают разные критерии, которые единая метрика точности уловить не может. Наконец, цель постоянно движется — агентный ИИ и Мультимодальный ИИ модели требуют рамок оценивания (Агентный ИИ, tool-invariant assessment), а не переиспользования бенчмарков текстовых моделей. Результаты оценивания подвержены также тем же сквозным ограничениям, что влияют на все исследования AIED, — они стареют по мере улучшения ИИ, зависят от воспроизводимости и практик FAIR и могут опираться на проприетарные системы, — поэтому результаты оценивания следует читать с оговорками из Ограничения исследований в области ИИ в образовании. Дальнейшее, нарождающееся измерение — сустейнабилити ресурсов: развёртывания на собственных мощностях всё чаще сообщают о потреблении энергии и требованиях к оборудованию (например, VRAM, мВт·ч на запрос) наряду с точностью — см. sustainable on-premise knowledge-base assistants, — так что полное оценивание взвешивает экологическую и инфраструктурную цену, а не только качество результата.

Надёжность не гарантирует валидности. Validation of LLM-based classroom observation показывает, что модель может быть высоко стабильной при повторных оцениваниях и при этом оставаться рассогласованной с экспертным суждением, и, наоборот, что модели, хорошо согласующиеся с экспертами, часто более вариабельны — надёжность и точность распадаются, поэтому единичный показатель точности за один проход может преувеличивать надёжность. То же исследование документирует предвзятость к явным ориентирам: текстовые оценщики на основе LLM привилегируют явно вербализованные поведения и недопредставляют неявные или контекстуальные свидетельства (например, устойчивая self-regulation студента там, где рубрика допускает высокие оценки по критериям, терпимым к отсутствию), производя систематическое, а не случайное рассогласование. Это подчёркивает, что надёжность измерения является предварительным условием валидной интерпретации, а не её суррогатом, и что оценивание должно включать проверки стабильности при повторных измерениях наряду с точностью, анкерированной на экспертах.

Даже верифицированная модель дискурса на длинном горизонте отслеживает независимые меры результата лишь слабо: оценки NSPA «Рассуждение студента» и «Восприятие преподавателем» коррелировали с моделями добавленной стоимости эффективности преподавателей при ρ = 0,10, поэтому автоматические конструкции нуждаются во внешней валидации результата, прежде чем они смогут информационно поддерживать оценивание (Fang and Liu, 2026).

Оценивание симулированных обучающихся сталкивается с тем же стандартом: симулятор валиден только если его поведение эпистемически верно, а не просто бегло, поэтому его следует оценивать по его заявленной поведенческой цели и среде, а не по общей человеко-подобности, — и автоматические судьи совпадают с предпочтениями экспертов-людей примерно в 65% случаев (Yuan et al. (2026)).

Агрегированная точность скрывает, кого обслуживают плохо. Evaluations of vision-language models on DrawEduMath показывают, что общая точность скрывает систематическую слабость: модели отстают именно на той работе студентов, которая больше всего нуждается в педагогической помощи (ошибочной, работе отстающих студентов), поэтому дезагрегирование оценивания по компетентности студентов и статусу ошибок необходимо, чтобы не преувеличивать способности и не расширять пробелы в достижениях.

Бинарная правильность скрывает значимые сбои. На трёхклассовом бенчмарке ступенчатой диагностики 10 836 симулированных пар семь LLM-репетиторов классифицировали оптимальные шаги почти безупречно (F1 94–99%), но валидные альтернативы — с F1 0–76%, а неверные шаги — с 4–55%, — сверхотказ и сверхвалидация, — и точная диагностика всё же не давала применимой обратной связи (Yasir et al. (2026)).

• Переиспользование человеческих инструментов для оценивания LLM требует проверки латентной структуры. Strugatski et al. (2026) подгоняют разведочный факторный анализ отдельно для людей и шести мультимодальных LLM: конгруэнтность LLM и человека оставалась ниже человеко-человеческого базового уровня на обоих инструментах, а параллельный анализ удерживал различное число факторов (пять для людей против четырёх для LLM).
• Совместное оценивание выявляет компромиссы, которые скрывает единая оценка. Jiang et al. (2026) оценивают девять моделей для образования по способностям, безопасности, базовому образованию и высокоуровневому развитию по одному протоколу: шесть лучших статистически неотличимы в целом, но различаются на 19,5 баллов по безопасности, причём безопасность сильно антикоррелирована с базовым образованием (r = −0,83).
• Перекос классов может сделать метрику оценивания вводящей в заблуждение. Csibi and colleagues (2026) классифицировали уровень рефлексии в 1954 сочинениях венгерского педагогического образования, в которых 68% находились на одном уровне: одна поверхностная конфигурация достигала ROC-AUC 0,7131 при точности лишь 0,5162, а балансировка классов снижала каждую метрику (0,6672 точности без неё против 0,6408 с ней). Поверхностные модели давали лучшие агрегированные оценки, тогда как трансформеры лучше справлялись с уровнями меньшинства, поэтому сообщаемая цифра должна следовать за успешностью, от которой действительно зависит решение.
• Ошибки бенчмарка и оценщика принимаются за провал модели. Экспертное переоценивание шести широко используемых бенчмарков по physics провело аудит 250 отклонённых заданий и отнесло 143 (57,20%) к дефектам бенчмарка и 95 (38,00%) к ошибкам оценщика, оставив лишь 12 (4,80%) подлинных ошибок модели, поэтому 95,20% измеренного пробела нельзя было отнести на счёт модели. Исправление заданий сместило среднее HLE-Physics@4 с 47,28% до 78,66%, а CritPt среднее@5 — с 32,29% до исправленных 87,50%, превращая очевидную слабость передовых моделей в почти полное насыщение. Аудит утверждает, что сообщаемая оценка является совместным свойством модели, банка заданий и оценщика и что экспертное судейство должно предшествовать любому заявлению о способности, сделанному на основе бенчмарка. (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)

Скорость оцениваемых систем является дальнейшим ограничением. Harrison et al. (2026) прямо описывают временну́ю проблему: к моменту, когда крупномасштабное испытание спроектировано, проведено, проанализировано и опубликовано, изучаемая технология могла существенно измениться, что подталкивает практику к слабым наблюдательным или эксплуатационным данным именно в тот момент, когда более сильные свидетельства нужнее всего. Их ответ — не принимать более слабые дизайны, а сокращать цикл: ведомые практиками микрорандомизированные испытания, которые сохраняют причинное сопоставление и повторяют его по мере эволюции платформы.

• Верность данных — отдельная проблема оценивания, отличная от качества результата. Синтетические образовательные когорты, воспроизводящие сводную статистику каждой переменной, могут всё же искажать структуру данных: недельный граф близости по обучающимся варьировался в 2,6–4,9 раз меньше в течение семестра в синтетических версиях, чем в реальных когортах, поэтому оценка верности не предсказывает, какие анализы выживут на реальных данных (Inoue & Yasutake, 2026).
• Точность в пределах распределения — не пригодность к внедрению. Классификатор уровней Блума с макро-F1 0,88 на курируемом банке заданий падал до 0,48 и 0,20 на двух наборах созданных ИИ вопросов, причём потеря отслеживала почти полное отсутствие явных глаголов-триггеров Блума, а не размер модели; необученные LLMs были самым устойчивым вариантом вне распределения (0,79 и 0,41–0,51), а переобучение на размеченных данных вне распределения восстанавливало наибольшие приросты (до 0,82), поэтому перенос должен стоять в отчёте рядом с соответствием в пределах распределения (Castanares et al., 2026).
• Шкала трудности ИИ — пособие для оценивания, а не оценка. Оценки трудности ИИ сильно отслеживали частоту прохождения на уровне задач (rho = −0,871 по 79 задачам), но ослабевали до −0,552 на выборке из 106 задач CS101 и приближались к нулю на уровне экзамена, поэтому такие шкалы принадлежат рассмотрению заданий, а не оцениванию студентов (Yan et al. (2026)).

Связи со смежными концепциями

Оценивание ИИ-образования находится в центре методов и рисков базы знаний. Оно операционализирует Валидность оценивания, Образовательное измерение и Бенчмарк внутри Оценивание и Автоматизированное оценивание. Его призыв к надзору со стороны человека связывается с Человек в контуре и Преподавание, тогда как его фокус на надёжности — с Риск галлюцинаций, Confidence Aware AI Assessment и Калибровка доверия. Различение между оцениванием успеваемости и оцениванием обучения связывается с performance vs. learning и с Моделирование учащегося и адаптивное обучение; а оценивание педагогических агентов связывается с Интеллектуальное тьюторство, Обучение и дообучение LLM и Педагогическая безопасность.

Оценивание учебных приростов

Центральный объект оценивания ИИ-образования — прирост в обучении — измеримое улучшение знаний или навыков, производимое инструментом ИИ (см. Прирост в обучении). Строгое оценивание приростов требует выбора правильной меры результата, поскольку performance and learning diverge: ИИ может раздувать непосредственную, ассистированную ИИ успешность задачи, оставляя устойчивое, неассистированное обучение неизменным или сниженным (см. Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build, The Generative AI Learning Penalty: Evidence from Chinese Secondary Education). Поэтому эффективное оценивание приростов:

• Использует неассистированные, устойчивые к ИИ меры результата. Guardrail evidence и summative-assessment research показывают, что меры с прокторингом, без доступа к материалам и без помощи, — а не домашние работы с помощью ИИ или работы на дом, — раскрывают подлинные learning gains.
• Различает ассистированную успешность и устойчивое обучение. Meta-analysis показывает, что ИИ может производить большие приросты производительности без значимого прироста в обучении (g ≈ 0), поэтому оценивания должны сообщать оба.
• Поколение технологии может не иметь значения, а данные о стоимости отсутствуют. Burneo et al. (2026) объединяют 14 рандомизированных испытаний в средний прирост в обучении 0,125 sd, причём генеративный ИИ не показывает преимущества над более ранним адаптивным программным обеспечением (0,022 sd, SE 0,075), а сопоставимые затраты на студента сообщаются лишь в двух-трёх исследованиях.
• Сочетает меры до/после с проверками валидности. Валидность оценивания и Образовательное измерение обосновывают измерение приростов; meta-analytic review объединяет размеры эффектов по исследованиям, чтобы установить свидетельства области о приростах.
• Дезагрегирует по обучающемуся и контексту. Поскольку Прирост в обучении варьируются по популяции, предметной области и конфигурации ИИ, оценивание должно сообщать приросты для различных подгрупп студентов (например, по исходной компетентности, как раскрывают VLM evaluations для статуса ошибок), а не единый агрегированный показатель, и должно связывать результаты о приростах с Мета-анализ и систематический обзор, чтобы situate их в более широкой базе свидетельств.

Нужны кондиционированные контекстом бенчмарки: Zhang et al. (2026) утверждают, что прежние бенчмарки репетиторства (MathTutorBench, MRBench, LearnLM) вознаграждают одну сторону дилеммы помощи или дают недостаточно определённое руководство. TutorMoments вместо этого воспроизводит выявленные преподавателями точки педагогических решений, оценивая, уместна ли помощь репетитора для конкретного учебного момента, — Скаффолдинг против строгости.

• Выбранная вами метрика может обратить ваши выводы. Zhang et al. (2026), оценивая агентов-преподавателей ИИ в medical education, обнаружили, что нераскрытые агрегированные оценки educational platform ранжировали агентов почти противоположно прозрачной, верифицированной экспертами 8-мерной рубрике качества преподавания (точность медицинских знаний, педагогическое руководство, охват знаний, качество ролевой игры, адаптивная сложность, медицинская безопасность, вовлечённость, обратная связь). Оценки платформы индексируют успеваемость студента; рубрика индексирует поведение преподавания агента, — выбор неверной метрики определяет, какие агенты внедряются или дорабатываются. Они обнаружили также, что снисходительность LLM-как-оценщика различается по моделям (некоторые слишком снисходительны, чтобы различать), поэтому автоматическое оценивание нуждается в человеческой калибровке и наиболее заслуживает доверия на измерениях когнитивного процесса.
• Частота ошибок может скрывать тот сбой, который она должна выявлять. Stanchev (2026) отправил одну запись синтеза речи с отрывка медицинского английского четырём службам ASR: две бесплатные службы вернули 87,96% и 88,34% эталона, тогда как две платные службы вернули предпросмотры в 32,76% и 55,35% и потому получили частоты ошибок на слово 73,21% и 48,77%. Высокие частоты ошибок происходили от токенов, не возвращённых вовсе, а не от неверно услышанных токенов, поэтому ранжирование по одной частоте ошибок трактовало ограничение экспорта как сбой транскрипции. Покрытие должно стоять рядом с частотой ошибок всякий раз, когда автоматическая метрика заменяет артефакт, который видит обучающийся.
• Анкерите наборы оценивания на измеренном обучении, а не на суррогатах. Бенчмарки преподавательской способности, рубрики разговорной педагогики и задержка репетитора должны верифицироваться по фактическим приростам в обучении, а не трактоваться как их заменители, причём задержка сама по себе является осью оценивания, поскольку она формирует, будут ли студенты взаимодействовать вообще (Northcutt et al., 2026).
• Оцениваниям на основе экспертного суждения нужна собственная отчётность о надёжности. Puech et al. (2026) попросили 25 экспертов, согласованных по предметной области, оценить 92 сгенерированных lecture videos по рубрике, анкерированной на «качестве стандартной лекции MOOC», признав 87% на уровне планки или выше (среднее 3,42 из 5). Каждое видео оценивалось один раз одним рецензентом (k = 1), поэтому дизайн распределяет панель по корпусу ценой статистики межоценочного согласия; модель со случайным пересечением отнесла около 35% остаточной вариабельности к рецензенту (ICC = 0,35), а статья сообщает интервалы, кластеризованные по рецензентам, вместо единого показателя точности. Оценивание, построенное на экспертном суждении, сильно ровно настолько, насколько силён публикуемый анализ его надёжности.

Связанные концепции

• Интерпретация и применение исследований в сфере ИИ в образовании
• ИИ-ассистируемое образовательное исследование — ИИ-ассистируемое образовательное исследование
• Валидность оценивания — Валидность интерпретации в оценивании ИИ-образования
• Образовательное измерение — Теория измерения для оценивания обучения
• Психометрически осведомлённый ИИ — Применение психометрики к оцениванию на основе ИИ
• Бенчмарк — Стандартизированные бенчмарки для оценивания систем ИИ
• Автоматизированное оценивание — Системы оценивания и выставления оценок на основе ИИ
• Аналитика обучения — Анализ поведения в обучении на основе данных
• Методы исследования в AIED — Методы исследования ИИ в образовании
• Прирост в обучении — Измерение приростов в обучении от инструментов ИИ
• Формативное оценивание — Текущее оценивание для направления обучения
• Итоговое оценивание — Суммативное оценивание: устойчивые к ИИ форматы (устные, с прокторингом, экзамены без доступа к материалам)
• Аутентичное оценивание — Оценивание реальной, переносимой успешности
• Человек в контуре — Надзор со стороны человека за оцениванием ИИ
• Калибровка доверия — Калибровка доверия к системам ИИ
• Риск галлюцинаций — Риск сфабрикованного контента в результатах ИИ
• Интеллектуальное тьюторство — Оценивание систем ИИ-репетиторства
• Агентный ИИ — Оценивание поведения автономных ИИ-агентов

Связанные статьи

• What Platform Scores Miss: Multidimensional Evaluation of AI Teaching Agents in Medical Education — Что упускают оценки платформы: многомерное оценивание агентов-преподавателей ИИ
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Измеряют ли инструменты оценивания одно и то же для людей и LLM? (Strugatski et al. 2026)
• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Оценивание качества созданных ИИ экзаменов: крупномасштабное полевое исследование
• Neuro-symbolic pedagogical alignment (NSPA) for long-horizon classroom discourse analysis: Mitigating dialect bias via counterfactual preference optimization — Нейро-символьная педагогическая согласованность (NSPA)
• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most — Трёхклассовый классификационный бенчмарк LLM-репетиторов (Yasir et al. 2026)
• The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors — Оценивание VLM на DrawEduMath: контент ошибок труднее всего (Lucy et al. 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — Бенчмаркинг педагогического знания LLM (CDPK + SEND)
• Validating AI-generated classroom observations: Reliability, accuracy, and limits of LLM-based pedagogical judgment — Верификация наблюдения учебной аудитории на основе LLM: надёжность против точности (Melo et al. 2026)
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — Ассистенты базы знаний OER на основе ИИ на собственных мощностях: многомерное оценивание
• Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education — Модернизация эталонных данных: четыре сдвига в сторону улучшения надёжности и валидности
• Calibrating Trustworthiness: Co-Designing Metrics and Visualizations for Evaluating LLMs in Education — Калибровка доверия: совместное проектирование метрик и визуализаций
• TeachBench - Evaluating LLM Teaching Ability — TeachBench: оценивание преподавательской способности LLM
• Why Machines Misread Pedagogical Quality: Human-Machine Alignment in LLM-Based Pretest Question Evaluation — Почему машины неверно читают педагогическое качество: согласованность человека и машины
• Confidence Estimation in Automatic Short Answer Grading with LLMs — Автоматическое оценивание коротких ответов с помощью LLM
• CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback — CoTAL: инженерия промптов с человеком в цикле для формативного оценивания
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Бенчмаркинг LLM для диагностики когнитивных навыков студентов
• The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality from Four Conversation Signals — Индекс эффективности репетиторства: предсказание качества математического репетитора на основе LLM
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — Бенчмарк агентов ISD
• A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI — Инструментально-инвариантная рамка преподавания и оценивания вычислительных методов
• Towards Valid Student Simulation with Large Language Models — К валидной симуляции студентов с помощью больших языковых моделей
• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — От оцениваемых моделей к пособиям для оценивания
• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — Теоретический фундамент сократических тестов
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Ответственное оценивание в эпоху ИИ
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — От аутентичных продуктов к аутентифицированным процессам
• Generative AI technologies and educational outcomes: a comprehensive meta-analysis comparing traditional and AI-driven approaches — Метаанализ образовательных результатов генеративного ИИ
• When Help is Unhelpful: Evaluating AI Tutors for Productive Struggle — Когда помощь бесполезна: оценивание ИИ-репетиторов на предмет продуктивной борьбы
• ELBench: A Multi-Dimensional Benchmark for Education-Facing Large Language Models — ELBench: бенчмарк образовательных LLM
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — Оценивание рукописных работ по физике с помощью ИИ (олимпиада)
• Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics — Дистилляция самообъясняющейся LM для аналитики обучения
• Can EdTech Close Learning Gaps? Global Evidence from Digital Interventions — Метааналитическое оценивание адаптивного и ИИ-образования
• A Decade of Reflection and Thematic Review on Artificial Intelligence's Impact on Educational Measurement — Роль ИИ в выставлении оценок, психометрике, оценивании
• Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science — Оценивание ИИ-репетиторства на скорости инноваций: ведомые практиками микрорандомизированные испытания платформы ИИ-репетиторства в науке GCSE
• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: процессное оценивание качества математических заданий
• Towards Scalable Measurement of Durable Skills — К масштабируемому измерению устойчивых навыков
• From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning — От генерации контента к поддержке обучения: управляемые педагогикой генеративные видеорепетиторы для обучения STEM
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: ИИ- и человеческое репетиторство дают эквивалентные приросты в обучении по GRE
• What Fidelity Metrics Miss: A Structural Check on Synthetic Educational Data — Что упускают метрики верности: структурная проверка синтетических образовательных данных
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Оценивание предобученных моделей для педагогической оценки новых образовательных вопросов с помощью ИИ
• When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI — Когда оценщики кричат «волк»: уроки продакшен-оценивания «LLM-как-судья» в образовательном ИИ