Концепции Часто задаваемые вопросы Поиск

На этой странице

Еженедельный обзор исследований ИИ в образовании #124 октября 2026 г.

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Еженедельный бюллетень Базы знаний об ИИ в образовании о том, что исследования, опубликованные за прошедшую неделю, означают для преподавателей, разработчиков, исследователей и администраторов.

На этой неделе появилось 71 новое исследование и два новых ресурса, и теперь база знаний содержит 1 805 аннотаций статей, 220 страниц концепций, 37 FAQ и 33 ресурса. Ищите или используйте ИИ, чтобы побеседовать с базой знаний.

Главные результаты и вопросы

Оба главных результата этой недели говорят об одном и том же: оценка — это ещё не результат обучения. Эксперимент с тремя группами поднял баллы за упражнения с 29,85 % при открытом вебе до 71,84 % при неограниченном ChatGPT, тогда как концептуальное обучение не изменилось вовсе, поэтому более высокая оценка при доступе к ИИ не доказывает, что студенты узнали больше. Тринадцать детекторов помечали написанные человеком рукописи с частотой от 0 % до 100 % после одной корректуры, поэтому пометка детектора не является доказательством нарушения.

Поднимает ли репетитор, который улучшает домашнюю работу, ещё и экзамен? Рандомизированное исследование дало студентам репетитора по доказательствам, а затем измерило экзамен, сданный без него.
Когда сданная работа выглядит нормально, какая её часть принадлежит модели? Пятьдесят девять журналов чата в сравнении с работами, которые сдали те же студенты.
Как часто детектор ИИ помечает текст, который действительно написал человек? Тринадцать детекторов, 135 389 пар документов, в которых изменился только язык.
Улучшает ли практика устной речи с ИИ саму речь — или лишь одну измеряемую её характеристику? Десять исследований, шесть характеристик CEFR и четыре исследования, сообщившие одну общую оценку.
Формирует ли обучение студентов использованию обратной связи их вовлечённость — или наоборот? Трёхволновое панельное исследование, которое не может установить порядок между ними.
Где репетиторы на ИИ по-прежнему терпят неудачу, когда студент отказывается, уходит от темы или накаляет обстановку? 923 диалога, построенных на кейсах реальных студентов и оценённых по тому, что задокументировали практики.
Управление ИИ в образовании — это право, рекомендации или благие пожелания? 160 документов, из которых лишь четыре имеют обязывающую форму.

Преподавателям

Репетитор может улучшить домашнюю работу и не изменить экзамен

Чен и коллеги случайным образом распределили 153 студента, пишущих доказательства, в Университете Карнеги — Меллона на получение репетитора по доказательствам раньше или позже, а затем измерили экзамен, сданный без ИИ в аудитории. Баллы за домашнюю работу выросли на 2,56, пока инструмент был доступен. Баллы за промежуточный экзамен не различались. После того как доступ получили все и каждый выбрал свою дозу, каждые 100 дополнительных сообщений чат-боту сопровождались на 3,02 балла более низкой оценкой на следующем экзамене, и именно студенты с более низкой исходной самоэффективностью использовали его чаще всего.

Что это меняет для вас: оценка, полученная при открытом репетиторе, не доказывает, что студент способен на то же без него, поэтому эту нагрузку должно нести задание без поддержки. Это также означает, что студенты, наиболее склонные опираться на него, — те, кто меньше всего уверен в себе на старте, и это видно по использованию раньше, чем по оценкам.

Неограниченный чат завышает оценки сильнее, чем хорошо построенный репетитор

В эксперименте с тремя группами на вводном курсе по программированию в Мюнхене 275 студентов потратили 90 минут на упражнение по Java с репетитором, дающим подсказки, с неограниченным ChatGPT или с открытым вебом. Баллы за упражнение составили 71,84 %, 57,50 % и 29,85 %. Прирост концептуальных знаний составил 0,83, 0,71 и 0,85 балла, и разница между условиями была далеко не значимой (p = 0,773). Оба условия с ИИ снизили фрустрацию; только репетитор повысил мотивацию.

Разброс оценок в основном связан с артефактом, а не с обучением. Если вы оцениваете упражнение, условия с ИИ оцениваются на другом задании.

Чат-боты, созданные преподавателями, ошибаются в намерении, а не в фактах

EduWild собрал 1 726 разговоров из 217 ботов Playlab, настроенных преподавателями, включая 900 разговоров со студентами, для которых они были развёрнуты. Боты пропускали обязательные шаги рабочего процесса в 53,8 % разговоров с конечными пользователями, никогда не обозначали свою роль в 33,4 % и перегружали учащихся информацией или вопросами в 37,1 %.

Прежде чем развернуть бота, которого вы создали или унаследовали, прочитайте его первую реплику и проверьте, сообщает ли он, что он такое и что произойдёт дальше. Описанные здесь сбои находятся в инструкциях, и их можно исправить в запросе, не трогая модель.

Вердикт детектора — не доказательство

Набор данных службы редактирования дал Паку и коллегам 135 389 пар документов, в которых автор, тема и содержание остаются неизменными, а меняется только язык. По 13 детекторам ложноположительные срабатывания на написанном человеком академическом тексте составили от 0 % до 100 %, и одни и те же правки двигали детекторы в противоположные стороны. Отдельно группа почасовых проверяющих полностью лишилась своего детектора, потому что он помечал проверку грамматики, и теперь они ищут выдуманные ссылки и оторванность от материалов курса.

Если вы показывали студенту оценку детектора, особенно студенту, пишущему на втором языке, то на этой неделе пора прекратить использовать детекторы. Сигналы, основанные на чтении, из второго исследования — практическая альтернатива.

Проектирование оценивания — это выбор среди трёх ограничений, а не поиск принципа

Педлоу, Фишер и Уильямс утверждают, что проблема не в нехватке принципов проектирования, а в отсутствии способа рассуждать о тех, которые тянут в разные стороны. Их двойная трилемма рассматривает аутентичность, наблюдаемость и выполнимость в оценивании, а также конкретность, своевременность и нагрузку в обратной связи как ограничения, между которыми вы сознательно идёте на компромисс.

Если вас просят перестроить оценивание для ИИ, такая рамка превращает открытый вопрос в короткую аргументацию, которую можно зафиксировать и защитить.

Прирост устной речи от чат-ботов неравномерен по характеристикам

Сориано-Гонсалес и Бельда-Медина отобрали из 306 записей десять исследований и выяснили, какие из шести характеристик устной речи CEFR действительно изменились. Диапазон и разборчивость улучшились в четырёх исследованиях каждая, связность — в одном, взаимодействие — почти ни в одном. Четыре из десяти сообщили одну общую оценку, поэтому их прирост вообще нельзя отнести к какой-либо характеристике.

Заявление поставщика об «улучшении речи» совместимо с изменением, которое исследование не измеряло. Что касается аудирования, Го и Арядуст находят доказательства гораздо более скудными.

Грамотность в обратной связи и вовлечённость питают друг друга

Трёхволновое панельное исследование с участием 399 студентов бакалавриата показало, что грамотность в обратной связи от ИИ предсказывает последующую агентную вовлечённость (β = 0,222), а обратный путь столь же силён (β = 0,263), при отсутствии статистических оснований для установления порядка между ними.

Обучение студентов читать обратную связь и пользоваться ею — не предварительное условие, которое нужно выполнить до начала вовлечённости. Они движутся вместе, поэтому курс, который развивает только одно из них, работает против себя.

Разработчикам

Трудные случаи — там, где репетиторы по-прежнему терпят неудачу, а поиск стратегий помогает моделям среднего уровня

TutorCaseBench превратил качественные кейс-исследования в 923 диалога по шесть реплик в пяти типах трудных ситуаций и оценил 11 моделей по рубрикам, специфичным для каждого кейса. Лучшая модель соответствовала задокументированному вмешательству в 55,8 % открытых случаев — это та цифра, на которую следует ориентироваться при проектировании. Предоставление задокументированной стратегии из литературы по кейсам подняло 10 из 11 моделей в среднем на 9,9 балла, причём Llama 4 Maverick выросла с 41,0 % до 64,8 %, а самая сильная модель осталась на уровне 71,3 %.

Поиск эталонных стратегий стоит реализовывать для моделей, которые вы можете себе позволить. Он не спасёт передовую модель, у которой этот паттерн уже есть.

Проверяйте на развёрнутых диалогах, а не на лабораторных запросах

Набор данных EduWild сопоставляет каждый разговор с системным запросом и настройками за ним, и именно это делает сбой анализируемым: 53,8 % разговоров с конечными пользователями пропустили обязательный шаг. Конфигурация, написанная преподавателем, — отдельная поверхность отказов, отличная от возможностей модели, и надстройка на уровне запроса восстановила намерение, не отнимая у преподавателя контроля.

Если ваш продукт позволяет преподавателям писать инструкции, ваш тестовый набор должен состоять из их инструкций, собранных после развёртывания.

Соответствие рубрике — измерение качества обратной связи, которое никто не измеряет

Ян изучил 68 исследований обратной связи, сгенерированной ИИ. Обоснованность доказательств встречается в 47 из них, педагогическая полезность — в 58, а соответствие рубрике и заданию — в 19. Соответствие — это измерение, которое продукт может контролировать наиболее непосредственно, и оно изучено меньше всего.

Это возможность: стройте решение под рубрику, которую уже использует задание, и говорите об этом, потому что опубликованные данные не скажут покупателям, делает ли так кто-то ещё.

Применимость на практике — цель проектирования, а не приятное дополнение

Тамме, Шиллинг и Хантель предлагают заменить письменный опрос в конце семестра телефонным интервью, которое проводит агент ИИ, аргументируя это тем, что письменный инструмент не справляется с долей ответивших, глубиной и применимостью. Это предложение, а не полевое испытание. Проектные требования достаточно конкретны, чтобы их позаимствовать: задавайте уточняющие вопросы, требуйте обоснования, возвращайте нечто такое, с чем получатель может что-то сделать.

Исследователям

Самоотчёт и результаты деятельности часто приводят к разным выводам

Фан и коллеги составили карту методов измерения по 2 099 записям, а затем изучили 51 случай, когда инструмент самоотчёта и тест, рейтинг или трассировка измеряли один и тот же конструкт. Ответ на вопрос, согласуются ли они, часто отрицательный. Там, где они расходятся, наблюдаемость конструкта объясняет это лучше, чем качество исследования.

Замена одного другим — это измерительное решение с определённым направлением, а не удобство. Сообщайте, на каком из них основано ваше утверждение.

Артефакты скрывают разгрузку, поэтому измеряйте процесс

Конторович и Валлах закодировали 429 запросов в 59 журналах чата как следы саморегуляции и сравнили каждый с представленной работой. Десять из пятнадцати студентов, выполнивших все три задания, меняли роль, отведённую модели, по мере изменения задания, однако 53 из 59 работ воспроизводили продукт модели или перерабатывали его только по форме.

Одна лишь сданная работа не позволяет отличить использование от подмены. Данные о процессе позволяют, и схема кодирования здесь пригодна для повторного применения.

Валидированная шкала зависимости в открытых задачах

Большинство мер зависимости выводят её из того, последовал ли студент правильному совету, а для этого нужен проверяемый ответ. Хоу и коллеги разработали и валидировали шкалу из 16 пунктов для проблемно-ориентированного обучения, где такого ответа не существует.

Эталонные тесты детекторов устаревают, поэтому сообщайте о противнике

Рен, Рагхаван и Гарг разделяют вопрос обнаружения на разделимость и движение. Обученные с учителем базовые модели почти идеально разделяют человеческий и машинный текст в пределах распределения, тогда как коммерческий детектор Pangram опустился до 63,5 % сбалансированной точности и 27 % полноты против запроса, написанного для обхода.

Цифры, приведённые без попытки обхода, описывают мир, которого уже нет. И обзорная литература слаба там, где это важно: из 51 исследования обратной связи GenAI при обучении письму на втором языке лишь 5 проверяют точность обратной связи.

Администраторам

Большая часть управления ИИ в образовании — рекомендации, а не закон

Эльмахджуб и коллеги внимательно изучили 160 англоязычных документов управления из 498 записей. Только 4 имеют официальную правовую или нормативную форму, тогда как 92 — это рекомендации, рамки, наборы инструментов или руководства. Подотчётность упоминается в 146 документах, но лишь в 100 она связана с названным субъектом надзора.

Политика без названного владельца и механизма — это заявление о намерениях. Обзор даёт поля, по которым можно проверить собственный документ.

При закупке детектора нужна цифра ложноположительных срабатываний

Тринадцать детекторов, написанный человеком академический текст как контроль, ложноположительные срабатывания от 0 % до 100 %. По крайней мере одно учреждение уже отказалось от своего детектора, потому что тот помечал проверку грамматики. Если поставщик не даёт вам долю ложноположительных срабатываний на человеческих работах в вашей дисциплине, вы не можете оценить дисциплинарный риск.

Задокументированное направление в оценивании — процесс, аутентичность и устная работа

Кромптон и Берк рассматривают 72 исследования из 24 стран и 20 дисциплин и находят три повторяющихся проектных ответа: процессно-ориентированное, аутентичное и устное оценивание. Доказательная база широка, но методологически тонка, большинство исследований охватывает один курс, и ничто из этого не меняет направления.

Внедрение опередило понимание у преподавателей

Среди 132 индонезийских учителей K-12 96,2 % поддерживают использование ИИ преподавателями и 84,6 % — студентами, однако 69,2 % дали расплывчатое или ошибочное объяснение того, что чат-бот делает с инструкцией.

Поддержка в опросе — не компетентность в классе. Разрыв в профессиональном развитии здесь проявляется раньше, чем развёртывание любого инструмента, а сам инструмент достаточно короток, чтобы использовать его повторно для оценки потребностей.

Заменяйте опрос по курсу, только если замена применима на практике

Предложение с голосовым интервью нацелено на те режимы отказа, которые делают опросы в конце семестра бесполезными: доля ответивших, глубина, удовлетворительные поверхностные ответы и ответы, с которыми никто не может ничего сделать. Относитесь к нему как к спецификации для того, что вы используете вместо опроса, а не как к доказательству работоспособности версии с ИИ.

Концепции в центре внимания

Четыре страницы концепций внесли результаты этой недели в слой синтеза. Каждая из них — постоянная страница, а не разовая заметка, поэтому новые данные соседствуют с тем, что страница уже утверждала.

Языковое обучение

Теперь страница прямо говорит, что доказательства прироста устной речи от чат-ботов неравномерны по характеристикам и что четыре из десяти обобщённых исследований сообщили одну общую оценку, поэтому их прирост нельзя отнести к какой-либо характеристике. Прочитайте страницу о языковом обучении прежде чем покупать или создавать практику устной речи.

Интеллектуальное репетиторство

Её новый результат — это результат поиска: предоставление эталонных стратегий улучшает слабых репетиторов и оставляет сильных на прежнем месте. Это решение для разработки, и страница об интеллектуальном репетиторстве отделяет его от более ранних утверждений о качестве подсказок.

Меры самоотчёта

Самый яркий новый случай разрыва самоотчёта — намерение, где одна оценка охватывала учебно-ориентированное, обходное и смешанное использование в одной и той же выборке из 340 студентов, причём за утверждением стоят 68 повторно применённых пунктов и восемь интервью, и всё это зафиксировано на странице о мерах самоотчёта.

Управление ИИ

Теперь страница начинается с вывода о форме инструментов: 4 из 160 документов обязывающие, 92 — рекомендательные, а подотчётность названа в качестве субъекта лишь в 100. Страница об управлении переформулирует вопрос: не что говорит политика, а способна ли она действовать.

Новые ресурсы

На этой неделе к библиотеке ресурсов добавились два ресурса: один написан для учреждения, которому нужно решить, как создавать программное обеспечение с помощью ИИ, а другой — для преподавателя, которому нужно решить, принадлежит ли код студенту.

Campus AI Development

Campus AI Development — бесплатное веб-руководство, написанное со стороны учреждения. Оно описывает способы, которыми кампус может создавать программное обеспечение с помощью ИИ, от «вайб-кодинга» до управляемой работы нескольких агентов, и для каждого способа указывает маршрут проверки, потолок данных и соответствующие меры контроля. Оно сопровождает Campus AI Framework, который решает, можно ли вообще использовать инструмент ИИ; это руководство охватывает то, что делать, когда ответ положительный. Сайт не публикует лицензию на свой текст.

Code Viva

Code Viva — бесплатный браузерный инструмент, который делает устную защиту масштабируемой: письменная защита с ограничением времени для каждого студента курса программирования, по пятнадцать-двадцать минут, без преподавателя в аудитории. Он читает сданный код студента и историю коммитов, составляет от четырёх до шести вопросов о собственных функциях, именах и коммитах этого студента и даёт каждому студенту личную ссылку для ответа. Вопросы порождаются правилами, применёнными к сданной работе, а не вызовом модели, и преподаватель получает предложенные оценки с процитированными доказательствами за каждой, чтобы утвердить их или отклонить. Сайт не публикует ни лицензию, ни репозиторий исходного кода.

Также добавлено на этой неделе

Остальные исследования, с методами и аннотациями, перечислены по дням на странице журнала.

Заметки о сайте

На этой неделе появились две страницы. Архив бюллетеня содержит все выпуски, рядом с ним — собственная лента и лента базы знаний, а указатель концепций собирает все 220 страниц концепций на одной странице, в тех же разделах, что и боковая панель, так что теперь есть куда направить читателя, которому нужен весь набор.

Всё остальное было работой над тем, что уже существовало: страницы концепций и FAQ переписаны, текст уплотнён, а переводы обновлены во всех локалях.

Сайт представляет собой статическую сборку, а его содержание, код и инструменты открыты на github.com/edtechdev/aied, где можно прочитать каждое описанное выше изменение.

Следите за обновлениями

Получайте каждый выпуск через ленту бюллетеня в программе для чтения лент, вставив ту же ленту в Blogtrottr, чтобы новые выпуски приходили по электронной почте по выбранному вами расписанию, или следите за ней в LinkedIn, где каждый выпуск публикуется как бюллетень LinkedIn.

AIEd Research Weekly Update выходит из Базы знаний об ИИ в образовании, которую генерирует агент ИИ. Этот выпуск был подготовлен тем же агентом ИИ под редакционным руководством разработчика сайта, и каждое утверждение выше ссылается на страницу, с которой оно взято.

База знаний передана в общественное достояние под лицензией CC0 1.0. Права не защищены.

Нашли проблему с содержанием? Сообщите о ней на GitHub или свяжитесь с разработчиком сайта, Doug Holton.

Источник История Редактировать Чат