Кои са добрите практики за отчитане и тълкуване на изследванията на AI в образованието?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Черновата ти има число в резюмето, а рецензентът току-що попита какво всъщност е правила контролната група. Или ти си рецензентът и държиш метаанализ, чийто обединен ефект е 0,67, а разделът за методите е страница и половина. Или катедрата ти пише насоки как служителите да отчитат изследвания на AI и иска нещо по-конкретно от „спазвайте стандартите“.

Шест пропуска решават повечето от тези случаи: коя AI система е използвана, как е била конфигурирана, каква педагогическа роля е играла, дали хора са проектирали или преглеждали изхода ѝ, какво всъщност е уловила мярката за резултата и какво са направили авторите с пристрастието, разходите и ограниченията. „Неоценимо“ е честната присъда, когато ги няма, и това е различна присъда от „опровергано“.

Накратко

1. Опиши AI като интервенция, а не като доставчик. Модел, версия, конфигурация, подкани, роля и кой е проектирал или прегледал изхода.

2. Назови педагогическата обосновка и активната контрола. Име на продукт не е метод, а „както досега“ не е справедлива контрола.

3. Направи мярката да съответства на твърдението, включително дали резултатът е бил със закъснение и без помощ.

4. Отчети несигурността, която анализът ти действително има: зависими ефекти, междуизследователска вариация, интервали на прогноза, размери на подгрупите, публикационно пристрастие.

5. Валидирай всяка автоматизирана преценка, с посочен златен стандарт и посочен арбитър.

6. Отчети противотежестите: управление, изчислителни разходи, собственото си използване на AI, нулеви резултати и само цитати, които си проверил.

Опиши AI като интервенция, която някой би могъл да възстанови

Това е проверката, на която се провалят повечето подадени текстове. Рамката RAISE (Reporting AI Studies in Education, Allison 2026) е контролен списък от 30 точки в десет тематични области, а диагностичното ѝ твърдение е конкретно: подадените текстове редовно пропускат кой модел е използван, как е конфигуриран, каква роля е играл и дали човешки участници са проектирали или преглеждали изходите му. Рецензентите остават с четири въпроса без отговор. Какво точно е правил AI? Беше ли необходим? Възпроизводимо ли е това? Правдоподобни ли са твърденията за учене?

RAISE минава от образователна обосновка през спецификация на ниво API, взаимодействие обучаем-AI, достъпност и културно съответствие, участници и среда, човешка ангажираност, дизайн, етика, прозрачност и възпроизводимост, до ограниченията. Съпътстващата му матрица за етика и риск покрива рисковете за автономията на обучаемия, справедливостта, управлението на данни и алгоритмичната прозрачност. Hwang, Xie, Wah и Gašević (2026) предлагат опростена алтернатива. TEP-AIED сгъва прозрачност, етика и педагогика в една взаимозависима структура, дава таблица с насоки, съпоставена със седем раздела на статия, и иска от авторите да добавят подраздел в методите със заглавие „Съображения за прозрачност, етика и педагогика“. Причината им е практическа: RAISE е изчерпателна и твърде подробна за рутинна емпирична употреба. Разкриването стои под AI Use and Disclosure Statements, а то е това, което прави твърденията за поверителност и етика проверими.

Образователната обосновка е първа в RAISE, защото AI не е неутрален инструмент. Стойността зависи от съответствието между учебния проблем, теоретичната обосновка и съпоставянето на целите с мерките за резултата. O'Neill (2026) установи, че всички освен два от 14 проверени метаанализа определят интервенцията като инструмент: ChatGPT, GenAI или „AI“ изобщо. Име на продукт не е педагогика. Да третираш излагането на ChatGPT като една обща интервенция е сравнимо с метаанализ на ефектите на „хартия“.

Weidlich et al. (2025) правят същия аргумент за първичните изследвания. Проверявайки подмножество от сравненията зад един известен метаанализ, те намериха, че само 21% имат добре дефинирана интервенция, контролна група и валидна мярка за учене. Отчетеният размер на ефекта (g = 0,7) също надвишава този на специализираните системи за интелигентно обучение (0,66), а тази разлика е предупредителен знак: интервенция, която бие специално построено обучение, вероятно е сбор от различни неща под един етикет.

Проверката е един въпрос: би ли могъл компетентен читател да възстанови интервенцията ти само от раздела за методите и да получи същото?

Реши какво ти позволява да твърдиш мярката ти

В одита на доказателствата на O'Neill върху 46 случайно избрани първични изследвания 28 (61%) показаха проблеми с валидността. Несъответствието на зависимата променлива беше най-честото (n = 15), следвано от несъответствие на независимата променлива (n = 11), проблеми с експерименталния дизайн (n = 7), проблеми с извличането на данни (n = 6), липса на контролна група (n = 6) и неслучайно разпределение по групи (n = 6). Многоизмерните резултати редовно се обединяваха като взаимозаменяеми, с изпитни резултати, качество на домашната работа, мотивация, самоефективност, нагласи и ангажираност, слети в едно число за „академично постижение“.

Два навика при отчитането предотвратяват това. Посочи какъв конструкт измерва инструментът и че е валидиран за тази популация; Self-Report Measures показва къде мерките, основани на възприятие, се разминават с поведението, а Assessment Validity покрива валидността на конструкта. После отчети резултат, който не зависи от вярата на обучаемия в помощта. Непосредственото представяне по задача с помощ не е печалба в ученето, а когнитивното изнасяне е механизмът, който най-правдоподобно разделя двете. Мини прегледът от 2026 г. на 493 записа и 14 приоритетни изследвания установи, че нито едно не измерва успеха на проверката и последващото решение за доверяване заедно срещу независимо присъден стандарт за качество на изхода, и малко са погледнали отвъд непосредственото представяне към забавено задържане или пренос.

Посочи тавана изрично в обсъждането. Изследване, което е измерило тест с отворен инструмент, може да подкрепи твърдение за подпомогнато представяне. То не може да подкрепи твърдение за това какво са научили студентите, и това изречение струва един ред.

Отчети несигурността, която анализът ти действително има

За синтезите отчети работата със зависими ефекти, междуизследователската вариация, интервалите на прогноза и оценката на публикационното пристрастие. Само I² няма да свърши работа. O'Neill намери отчетена хетерогенност като тежка навсякъде, където беше дадена, от 77,2% до 94,4% в 13 метаанализа, като 12 бяха над 80%, и никъде неразрешена: нито един анализ на модератори не достигна минималния размер на подгрупа от десет изследвания. Дванадесет метаанализа третираха зависими размери на ефекта от едно и също изследване като независими, което надува привидните доказателства. Само четири отчетоха междуизследователска вариация (τ²) и само два интервал на прогноза, като и двата интервала включваха нула. Публикационното пристрастие не беше валидно оценено никъде в набора.

Числата за хетерогенността трябват с прикачен модел, защото I² зависи от прецизността. Ограничения в изследванията на AI в образованието документира един синтез при I² = 82,98% по модел с фиксирани ефекти и 15,75% по случайни ефекти. Читател, на когото е дадено само първото число, не може да прецени колко непоследователен е корпусът. Отчети τ² и интервал на прогноза до него, което е и конвенцията, която иска литературата за прегледи.

После намали и собственото си заглавие. Bartoš et al. (2026) обединиха 1 840 размера на ефекта от 67 метаанализа и установиха, че след моделиране на публикационното пристрастие средният ефект пада до около една трета от публикуваната медиана (SMD = 0,196 срещу 0,67), с интервал на прогноза от -1,521 до +1,908. Този интервал обхваща от значителна вреда до значителна полза за едно хипотетично ново изследване. Това е най-полезното число в статията и това, което най-вероятно ще отпадне от резюмето.

Кажи докъде стига твърдението

Справедливостта и обхватът се провалят по един и същ начин: голям ефект, който значи по-малко, отколкото изглежда. Единадесет от 14 проверени метаанализа не задават граница на популацията, така че „студенти“ обхваща от деца до медицински стажанти. Един курс, една институция, една дисциплина или една държава не дават основание за общо твърдение, а резултатите за един инструмент рядко се пренасят върху друг.

Три обяснения покриват повечето големи ефекти и всяко от тях подлежи на отчитане. Новостта е едно. Допълнителното време по задачата е друго. Третото е условие за сравнение, което е получило преподаване „както досега“, вместо активна контрола. Отчети какво всъщност е правила контролата, колко време е прекарало всяко рамо и колко нов инструментът е бил. Посочи и границата на популацията, защото ефектите се различават между групите обучаеми и неспоменатата граница е това, което позволява едно обединено число да замести всички тях; Диференциални ефекти между групите обучаеми излага вариацията.

Третирай инструмента като движеща се цел. Собственическите системи се променят без предупреждение, така че един извод е обвързан с версия на модела, а бенчмаркът, който е възхищавал в едно издание, може да не се задържи в следващото. Затова версията и датата на достъп принадлежат в раздела за методите, не само заради възпроизводимостта.

Валидирай автоматизираните преценки

Оценяването на AIED все по-често делегира оценяването на модели, което прави процедурата по валидиране част от резултата, а не приложение. Отчетът на Khan Academy за метриките на своя AI обучател съобщава, че когнитивната ангажираност се оценява от съдия на базата на Large Language Models (LLMs), калибриран срещу човешки педагогически експерти при F1 0,83, и че движенията на метриките идват от над 40 живи експеримента за пет месеца, а не от офлайн оценяване (Udeshi et al. 2026). Tseng et al. (2026) показват, че човешко-машинното несъгласие за качеството на въпрос за предварителен тест е систематично, а не случайно, и че операционализирането на рубриката е по-важно от подканата, която започва с обосновка.

Съгласието с човешки кодировчици е отделно нещо от качеството и отчитането му като качество е мишена за рецензенти. Liu et al. (2026) дадоха на независим експерт 855 двойки набори от кодове за сляпа оценка по източник. Човешко-LLM съгласието беше средно Jaccard 0,30 срещу 0,52 за човешко-човешкото, докато слепият проверяващ предпочете човешкото и машинното кодиране с неразличими честоти (51,5% срещу 48,5%, p = 0,537). Отчети целта за калибриране, златния стандарт и кой е арбитър на несъгласието. Тези три елемента позволяват на читателя да реши колко тежест може да носи автоматизираният резултат.

Разкрий разходите и собственото си използване

Преглед на всички доклади от конференцията AIED 2025 намери модел на приемане на LLM без разкриване: повечето проекти използваха LLM, а по-малко от шепа отчетоха потребление на ресурси или въглероден отпечатък. Тази статия дава метод с отворен код с инструменти за измерване на локален и облачен хардуер, плюс формула за оценка на изчислителния разход на водещи модели, чийто брой параметри не се разкрива. Аргументът ѝ е, че неотчитането на тези разходи само по себе си е етичен проблем. Управлението на данни, съгласието, достъпността и културното съответствие принадлежат в същия абзац (точки от RAISE; Universal Design for Learning, Accessibility). Как изследванията на AI в образованието да включват справедливост, достъпност, поверителност, етика и педагогическа безопасност? съдържа по-пълното разработване.

Собственото ти използване на AI в изследователския процес се нуждае от същото разкриване. Анализът PRISMA-LLM на Zabaleta и Lin върху 888 статии за автоматизация на прегледи показва колко неравномерно е това отчитане. От 2023 г. 38,0% от статиите за софтуер и продукти не отчитат никаква оценка, срещу 9,3% от статиите за LLM. Средната богатост на отчитането беше 6,3 за статиите за LLM и 3,3 за статиите за софтуер и продукти. 84,1% от използването на LLM разчиташе на собственически или хоствани системи, като само 4,9% бяха с отворени тегла. Рамката им разделя разкриването на внедряването от оценката, чувствителна към последствията, в пет нива на разкриване, което е работещ шаблон за описание какво е правил инструмент вътре в един преглед.

Dai и Chan (2026) добавят картината от страната на автора. От 28 докторанти и постдокторанти 27 използваха GenAI за генериране на идеи, преглед на литература, обяснения, обработка на данни, програмиране, академично писане, редактиране и превод. Те калибрираха използването според тежестта на решението и дисциплинарните норми. Политиките на институциите им адресираха преподаването и оценяването, а не изследователската практика, което оставя решението за отчитането на автора.

Публикувай нулевия резултат и проверявай всеки цитат

Denny et al. (2026) провериха 30 изфабрикувани препратки в 14 статии, като броят на един технически симпозиум се покачи от 3 през 2025 г. на 17 през 2026 г., или 2,3% от докладите в сборника за годината. Писането с помощта на LLM прави правдоподобен измислен цитат евтин за производство, и затова проверката трябва да се случва преди подаването, а не след приемането.

Противотежестите в този одит имат значение, когато го цитираш. Повечето отбелязани препратки бяха безобидни: 229 бяха несъответствия в метаданните на ACM, при които PDF файлът беше правилен, а 188 бяха валидни библиографски варианти. Броят на изфабрикуваните е умишлено долна граница, а безобидното мнозинство не е закръгляща грешка. Провери всеки запис, който не можеш да провериш лично.

Отчитането на нулеви и отрицателни резултати е другата половина на честната доказателствена база. Bartoš et al. намериха силни доказателства за потиснати нулеви резултати (всеки тест на Egger p < 0,0001) и крайна хетерогенност (τ = 0,869), без нито една подгрупа по резултат, област, ниво или роля на AI да показва последователни печалби. Те не намериха и разлика между изследвания, публикувани преди и след януари 2023 г., което подкопава твърдението, че съвременните генеративни инструменти специално произвеждат печалби.

Какво изследователите разбират погрешно тук

„Размерът на ефекта е свойство на модалността.“ Няма ефект на AI в образованието, който да се отчита. Всички освен два от проверените метаанализа определиха интервенцията с име на инструмент, само 21% от проверените сравнения имаха дефинирана интервенция, контрола и валидна мярка, а обединеното g = 0,7 стоеше над специално построеното интелигентно обучение при 0,66. Размерът на ефекта принадлежи на дизайн, на популация и на момент на измерване.

„Обединената средна стойност е това, което ще се случи с моите студенти.“ Средната описва набора от изследвания и нищо в нея не фиксира нито една конкретна класна стая. Коригираната за пристрастие средна е SMD = 0,196, а интервалът ѝ на прогноза минава от -1,521 до +1,908. Отчетената хетерогенност е над 80% в 12 от 13 метаанализа, а нито една подгрупа в по-големия набор не показа последователни печалби. Промяна на ниво студент не е идентифицируема от нито едно от двете числа.

„Нулевият резултат значи, че инструментът не работи.“ Нулевият резултат е твърдение за дизайн при дадена прецизност и липсата на доловим ефект в едно изследване е факт за това изследване. Коригираният за пристрастие SMD = 0,196 идва от литература, в която всеки тест на Egger беше значим, така че защитимото четене на корпуса е малка и несигурна средна. Нито един резултат, област, ниво или подгрупа по роля на AI в по-големия набор също не показа последователни печалби. Документираният проблем в тази литература е потискането.

„Едно изследване решава въпроса.“ Базовите честоти твърдят друго. 61% от проверените първични изследвания имаха проблеми с валидността, един курс или институция не дава основание за общо твърдение, а собственическата система е движеща се цел, обвързана с версия на модела. Едно изследване е точка от данни с прикачен дизайн.

„Високото съгласие с човешки кодировчици значи, че моделът оценява правилното нещо.“ Човешко-LLM съгласието беше 0,30 срещу 0,52 за човешко-човешкото, а слепият проверяващ не можа да различи двата набора от кодове при 51,5% срещу 48,5%. Съгласието измерва последователност с кодировчик, а качеството е отделен въпрос, който иска златен стандарт и арбитър.

Възраженията, които ще чуеш

„Рецензентите искат новост, не подробности за метода.“ Списанията се движат в обратната посока. RAISE и TEP-AIED дават на редакторите конструкт, който да изискват, а подразделът в методите на TEP-AIED е вход с ниско съпротивление. Подробността за метода е това, което превръща една неоценима статия в цитируема.

„Нямаме място.“ Петте нива на разкриване са нива на отчитане, а не нива на риск, така че дълбочината на оценяването може да е изречение или две. Версията, подканите и ролята се събират в кратък абзац. Разходът и управлението се събират в едно изречение за ограниченията.

„Всички го отчитат така.“ Числата казват, че нормата е проблемът: 61% от проверените първични изследвания с проблеми с валидността, 12 от 13 метаанализа над 80% хетерогенност, 38,0% от статиите за софтуер и продукти без никаква оценка.

„Инструментът ни е собственически, така че не можем да отчетем модела.“ Отчети версия, дата на достъп, конфигурация, подканите, които си подал, роля и предпазители. Ако доставчикът не каже, това ограничение принадлежи в ограниченията като граница на твърдението.

„Отчитането на нулеви резултати ще ни навреди.“ Потиснатите нулеви резултати са документираният механизъм зад коригираната за пристрастие средна SMD = 0,196. Публикуването им е това, което пази положителния ти резултат четив.

Какво да направиш тази седмица

1. Прочети резюмето си срещу раздела за методите и изтрий всяко твърдение, което методът не може да подкрепи. Едно изречение за тавана на мярката обикновено е достатъчно.

2. Добави абзаца със спецификацията: модел, версия, дата на достъп, конфигурация, подкани, роля и кой е проектирал или прегледал изхода.

3. Извади τ², интервала на прогноза и оценката на публикационното пристрастие от приложението в резултатите или кажи направо, че не си ги изчислил.

4. Напиши границата на популацията и условието на контролата в описанието на дизайна, включително колко време е прекарало всяко рамо.

5. Провери всяка препратка, която не си чел лично, и започни с полето за автор.

Накъде след това

Изследователски методи в AI в образованието покрива дизайнерските избори под тези решения за отчитане, а Ограничения в изследванията на AI в образованието е каталогът на режимите на провал с прикачените числа. Тълкуване и прилагане на изследванията на AI в образованието е страната на читателя на същия проблем, доказателствата за трайно учене са това, към което се стремят повечето от тези мерки, Какви мерки и изследователски методи може да използва преподавателят, за да оценява интервенции, свързани с AI? покрива мерките и дизайните за сравнение, а Как да разберем, че образователният AI работи правилно, а не просто получава добри оценки? е по-кратката версия на въпроса. За празнините, които тази литература не е запълнила, виж Кои са значимите пропуски в изследователската литература за AI в образованието?.