Кои са значимите пропуски в изследователската литература за AI в образованието?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Крайният срок за грант е след осем дни, а разделът с контекста се нуждае от едно изречение за това какво тази област все още не знае. Или колега е казал на комисия, че AI обучението повишава постиженията, позовавайки се на двугодишен експеримент в 18 средни училища, а ти си човекът, който трябва да каже какво може да носи това изследване. Или избираш тема за дисертация и всяка нейна версия изглежда вече правена.

Пропуските, които имат значение, са за силата, конкретността и приложимостта. AI може да изпълнява образователни задачи; откритите въпроси са дали определен дизайн дава трайна полза, за кого, чрез кой механизъм и при какви условия. Това разграничение решава две неща на бюрото ти: какво да изучаваш след това и какво да спреш да твърдиш дотогава. Ограничения в изследванията за AI в образованието е каталогът зад тази страница. Доказателствата за интелигентни системи за обучение, предиктивната аналитика, генеративния AI и автономните агенти също не са взаимозаменяеми, а изследванията за използване на AI в подкрепа на ученето се различават от изследванията за това как да се учи хората за AI, както обяснява прегледът AI в образованието.

Накратко

1. Сравни AI със силна алтернатива без AI, която държи учебната програма, практиката и подкрепата постоянни, и кажи какво е добавил AI.

2. Измервай отложено представяне без помощ и заяви, че представянето с помощ не е напредък в ученето.

3. Докладвай кой компонент от пакета е свършил работата и кой механизъм твърдиш, че действа.

4. Валидирай всеки автоматизиран резултат и всеки симулиран обучаем срещу истински обучаеми, включително обучаеми извън извадката, върху която си разработвал.

5. Заяви границата на популацията, защото обобщена средна стойност не отговаря на въпрос за равенството.

6. Опиши организацията достатъчно добре, че някой друг да може да я възстанови.

Избери сравнение, което изолира AI

Съществуват строги класни експерименти, така че „трябват ни рандомизирани изпитвания“ вече не назовава пропуска. По-острия въпрос е дали AI компонентът добавя стойност отвъд допълнителна практика, по-добри материали, навременна обратна връзка или повече учебна подкрепа.

На един клик разстояние съобщава скромни постижения в 18 средни училища наред с ограничено съдържателно взаимодействие с обучителя, а авторите отбелязват, че тези постижения приличат на резултатите от структурирана практика без AI. Това е доказателство за внедрен пакет и не може да изолира какво е добавил AI вътре в него.

Проблемът отдолу е концептуален, не само емпиричен. „ChatGPT“ назовава инструмент, не метод. Weidlich et al. (2025) одитират 19 сравнения на ChatGPT в образованието: само 4 (21%) уточняват и трите неща, възпроизводима интервенция, операционализиран контрол и валидна мярка за учене (74% добре дефинирана интервенция, 42% добре дефиниран контрол, 53% резултат за учене). Когато нов AI идва заедно с нови дейности, обратна връзка или дизайн на интерфейса, средата и методът се смесват и никакъв ефект не принадлежи на AI.

Какво би го решило: сравнения срещу реалистични алтернативи без AI, при които учебната програма, възможностите за практика и подкрепата са държани възможно най-постоянни, плюс независими повторения през институция, преподавател, предмет и модел. Методите тук отговарят на различни въпроси. Качествената и дизайн-базираната работа обяснява внедряването, докато добре проектираните експерименти носят причинните твърдения, както излага Методи за изследване на ефективността.

Измервай ученето, след като инструментът го няма

Подобрена работа, докато се използва AI, не е доказателство за учене, което преживява края на помощта. Синтезите Напредък в ученето и Когнитивно изнасяне продължават да теглят същата линия между представяне с помощ, запазено знание, самостоятелно разсъждение и трансфер.

Правене на AI обучението продуктивно показва проблема с измерването в рандомизиран експеримент с повече от 6 000 ученици от средното училище. Правило за овладяване с три верни отговора подред повиши успеха, дефиниран от платформата, без само по себе си да даде доловими постижения в ученето седмица по-късно. Най-силните доказателства от отложен тест се появиха, когато AI беше вътре в работния процес за овладяване и се съсредоточи върху материала, който се практикува.

Останалият пропуск е за траекториите на способността и един добавен посттест не го затваря. Никой не е установил задържане през месеци, трансфер между задачи, представяне след оттегляне на подкрепата или точността, с която обучаемите преценяват какво знаят, а областта не е отделила неуспеха да придобиеш умение от влошаването на вече придобито. Изследванията на изнасянето все още трябва да покажат кога делегирането подкрепя тези траектории и кога измества практиката, която ги изгражда.

Разбери кой компонент от пакета е свършил работата

„Учене с подкрепата на AI“ обикновено обединява няколко промени: нова обратна връзка, добавена рефлексия, дискусия с връстници, различни последователности от задачи, променени стимули за оценяване. Успешен пакет не ти казва кои компоненти са били необходими.

Дизайн на обратна връзка от GenAI, центриран върху човека е истински напредък по този въпрос. Сред 1 176 първокурсници рефлексивните и хибридните дизайни превъзхождаха директната обратна връзка от AI по отложен трансфер без AI. Хибридното условие съчетаваше самооценка, обратна връзка от връстници и критика от AI. Това отделя как обратната връзка е организирана и използвана от това дали студентите имат достъп до обратна връзка изобщо.

Все още отворено: приносът и моментът на първоначалните самостоятелни опити, самообяснението, вложеният от връстници, коригиращата обратна връзка, подсказките и оттеглящата се подкрепа, и как всяко от тях взаимодейства с предварителното знание и трудността на задачата.

Пропускът в теорията върви редом. Да назовеш теория за ученето не означава да я тестваш. Едно изследване се нуждае от теоретично предсказание, свързано с конкретно поведение на системата, и от измерим процес на учене, а статистическата медиация информира това обяснение, без да установява причинен механизъм. Развитие на теорията в AI в образованието и скафолдинг водят аргумента по-нататък.

Валидирай мярката, преди да я тълкуваш

Конструкти като ангажираност, критично мислене, AI грамотност и персонализация се измерват непоследователно в тази литература. Самоотчетите описват възприятия; те не могат да заместят демонстрирана компетентност. Техническата точност, оцененото от експерт качество на резултата и ученето на студентите са три различни цели на оценяване. Образователно измерване и Оценяване на AI в образованието третират тези разграничения като основополагащи.

Един пропуск стои вътре в проблема с измерването: AI системи, използвани за оценяване на други AI системи. В Симулиране на студенти или угодническо решаване на проблеми? симулираните студенти често изоставяха зададените погрешни схващания след коригираща обратна връзка, независимо дали обратната връзка се отнасяше до погрешното схващане, така че отговорите им можеха да представят неефективно обучение като успешно. Целенасоченото обучение подобри мярката за достоверност на изследването, а подобрението по тази мярка не е валидиране срещу човешко учене.

Липсва валидиране на цялата верига на оценяване, от поведението на модела през педагогическата преценка до реакцията на обучаемия и до образователния резултат, върху обучаеми и условия, които не са били използвани при разработването. Човешката преценка се нуждае от същото внимание, тъй като съгласието между оценители не е доказателство, че е измерен правилният конструкт.

Реши какво все още може да удостовери едно оценяване

AI създава два свързани проблема с оценяването: помага да се произведе работата, която се оценява, и може да влияе върху това как тази работа се оценява.

Изследването на AI агенти, изпълняващи оценявани задачи в LMS документира агенти, които навигират в реален курс за бакалаври и завършват оценявани дейности. Това демонстрира способност, която поставя под въпрос предположенията за доказателствата, произведени от студента. То не установява колко често се случва такова използване и не обезсмисля асинхронното оценяване като категория.

Изследователският въпрос е кои дизайни все още подкрепят защитими заключения за обучаемия. Портфолиата, рефлексиите, поетапните предавания и дневниците на активността се нуждаят от валидиране като доказателство, вместо да се предполага, че установяват авторство или разбиране. Изследванията трябва да тестват комбинации от доказателства срещу независимо наблюдавана компетентност, като отчитат достъпността, натоварването, поверителността и тревожността на студентите. Валидност на оценяването държи подробностите.

За автоматизираното оценяване LLM не оценяват есета като хора съобщава систематично несъгласие между модели в стандартна конфигурация и човешки оценители. Констатациите са специфични за конфигурацията и показват защо вътрешната последователност не може да носи твърдение за валидност.

Тест за човешка способност за резултатите от ученето в ерата на AI предлага отделно оценяване на това какво обучаемите трябва да правят самостоятелно, какво могат да постигнат с AI и какво трябва да проверят и защитят. Това е рамка, която очаква емпирично валидиране.

Откриването на използването на AI е най-ясната задънена улица в тази област. Karr et al. (2026) пуснаха два търговски детектора при τ = 0,50 върху 642 публикувани английски резюмета. Леко редактиране с AI в съответствие с указанията беше маркирано в 38% до 80% от случаите. Немодифицирани оригинали от 2023-25 бяха маркирани в 9% до 15%, като работите извън STEM бяха далеч над STEM при p < 0,001. След хуманизация инструментите хванаха под 4% от преправените с AI текстове, дял на фалшивите отрицателни резултати над 96%. Оценка, която наказва честната помощ и пропуска укриването, не може да обоснове заключение за обучаемия.

Спри да четеш резултатите за грамотност като доказателство за поведение

Изследванията на интервенции за AI грамотност са достатъчно обемни, за да бъдат синтезирани. Интервенции за AI грамотност в образованието обхваща 59 изследвания и 7 211 участници, съобщава положителен среден ефект и също съобщава значителна вариация с широк интервал на предсказване, който пресича нулата. Резултатите, насочени към знание, излязоха по-силни от тези за умения, нагласи или етика.

По-острия пропуск е дали обучението по грамотност променя какво правят хората, когато използват AI, и още една рамка за компетентности не би го затворила. Могат ли обучаемите да разпознават неподкрепени твърдения, да проверяват източници, да отхвърлят подвеждащи предложения, да забелязват неуместно съгласие и да избират кога да не делегират? Издържа ли нещо от това под натиск на времето и пренася ли се върху непознати системи и дисциплини?

Решаването на това изисква оценяване, основано на представяне, съчетано с наблюдение на действителните решения и отложено проследяване, като концептуалното знание, оперативната компетентност и критичната преценка се държат отделно, а не се обединяват. AI грамотност и Калибриране на доверието дават разграниченията.

Докладвай кого пропуска констатацията

Констатации от един курс, институция, език или популация обучаеми рядко дават основание за решения другаде, проблем, който синтезата Ограничения в изследванията за AI в образованието третира като повтарящ се. Как ефектите варират според етапа на развитие, дисциплината, предварителното знание, увреждането, езика и условията на ресурси остава до голяма степен неизмерено.

Изследванията за равенството също трябва да разделят достъпа, уменията и резултатите. Синтезата Цифрово разделение е ясна, че устройствата и достъпът до инструменти не установяват еднаква способност да се извлече полза. Свива ли училищното обучение по AI пропуските в готовността? проследи 752 ученици от младшата степен на средното образование в Хонконг: пропуските в психологическата готовност се свиха, докато разликите в обективен тест за AI грамотност се запазиха. Всяка група се подобри, а неравенството не се затвори. Профилите на предварителното знание не бяха разпределени случайно, така че причинната им роля остава неизвестна.

Покритието е тънко на конкретни места. Различни ефекти между групи обучаеми преброява литературата по популации: обучаемите с втори език и многоезичните обучаеми и студентите с увреждания са най-дълбоките направления, следват полът и невроразнообразието, първото поколение в семейството и международните студенти имат по едно изследване в този корпус, надарените и високопостигащите ученици на практика са неизследвани, а бежанците, имигрантите и разселените обучаеми не се появяват в нито едно. Доказателствена база с такава форма не може да отговори на въпрос за равенството чрез агрегиране.

Капацитетът варира и в рамките на една национална система. Adeniranye et al. (2026) оцениха интеграцията на AI в 45 нигерийски университета и намериха умерено общо възприемане (M = 4,79, диапазон 1,83-7,83 по 10-степенна скала), като типът институция не предсказваше интеграцията, след като възрастта и географията бяха контролирани (възраст β = 0,43; местоположение в Югозапада β = 0,31). Вътрешните способности корелираха помежду си при r = 0,79-0,80, а международните сътрудничества с партньорствата с индустрията при r = 0,74, така че свързаните институции натрупват нарастващи предимства. Кои дизайни за изграждане на капацитет променят резултатите в по-нови, по-слабо свързани институции, е непроверено.

Изследователският приоритет е да се идентифицират дизайни, които намаляват разликите в демонстрираната способност, участието и субектността, като резултатите и тежестите за подгрупите се докладват редом със средните ползи. Достъпността носи свой собствен нерешен въпрос: дали един дизайн премахва пречка за участие или заменя способност, която обучаемият трябва да развие. Виж Равенство в образованието с AI и достъпност.

Кажи кой държи контрола и кога той се променя

Когато системите планират, започват действия, пазят памет и координират инструменти, образователният въпрос става кой трябва да контролира кои части от процеса на учене и кога този контрол трябва да се измести.

Агентен AI в образованието: обхватен преглед картографира 474 изследвания и намира ограничено лонгитудинално валидиране, концентрация във висшето образование и STEM и слаба интеграция с образователната теория: само 29% от прегледаните изследвания се позовават изрично на образователна теория, констатация за този корпус, а не за цялата работа за AI в образованието.

Следват открити въпроси. Дава ли помощта, инициирана от обучаемия, различни резултати от помощта, инициирана от агента? Може ли подкрепата да се оттегля с развитието на компетентността без загуба? Запазват ли обучаемите способността да оспорват системата? Синтезите Агентен AI и Сътрудничество между човек и AI добавят преподавателската намеса и отчетността в условия с много агенти, където никой не е установил кой отговаря за решението на агент. По-голямата автономия е педагогически избор на дизайн с доказателствена база, която тепърва трябва да се изгради.

Тествай провалите на безопасността срещу истински обучаеми

Образователната безопасност стига отвъд фактическата точност и забранените заявки. Обучителят може да даде верен отговор, като същевременно отнема възможността на обучаемия да разсъждава, затвърждава погрешно схващане или изгражда зависимост. Педагогическа безопасност обхваща конструкта.

SafeTutors идентифицира провали, включително прекомерно разкриване на отговори и изоставяне на скафолдинга, със значително повече провали при тестване в няколко хода. Това са констатации от бенчмарк при определени условия, не оценки колко често се случва вреда в класните стаи.

Какво се случва, когато тези провали срещнат истински обучаеми при продължително използване, е неизвестно. Кои от тях причиняват временно объркване, кои водят до трайни погрешни схващания, кои намаляват мотивацията и кои отслабват самостоятелната способност, не е измерено. Никой също не е установил кои предпазни мерки намаляват тези рискове, без да произвеждат прекомерен отказ или разочарование. По-дългосрочната работа се нуждае и от доверие, готовност да се търси човешка помощ, субектност на обучаемия и отношения с връстници и преподаватели като резултати. За децата това изисква изследвания, подходящи за етапа на развитие, които свързват поведението на системата с образователни и релационни резултати.

Отдели възприемането от внедряването

Техническата способност не установява, че един инструмент се използва добре, а професионалното развитие не достига автоматично до студентите. Липсващата връзка обикновено минава от подготовката на преподавателя през променената класна практика до резултатите на студентите.

Педагогика първо, технология второ е многостепенно изследване на 46 преподаватели и 2 832 студенти. Педагогическото знание за AI беше свързано с възприятията и намеренията на студентите, а нито един от измерените компоненти на знанието на преподавателя не беше пряко свързан с напредъка в знанията за AI на студентите. Такива връзки не установяват, че интервенция за обучение би причинила по-добро учене.

Откритият въпрос е кои комбинации от коучинг, съответствие с учебната програма, рутини за преглед, планиране и институционална подкрепа дават трайно подобрение, а изследванията трябва да наблюдават осъщественото преподаване, а не увереността на преподавателя или намерението да се възприеме инструментът. Компетентност на учителите за AI и Образователно развитие покриват тази територия.

Сравнителната рентабилност е втори пропуск. Оценките трябва да отчитат времето за проверка, коригиране, обучение, надзор, поддръжка и внедряване редом с разходите за абонамент и използване на модел и да сравняват осигуряването с подкрепата на AI с реалистични алтернативи. Въпросът, който си струва да се отговори, е каква образователна полза дава цялата организация за ресурсите, които изисква.

Брой документите за управление като намерения

Етичните принципи и рамките за управление са необходими и тяхното съществуване не установява, че променят практиката или защитават обучаемите.

Agarwal et al. прегледаха 25 статии и намериха крайните потребители до голяма степен пасивни в литературата за етика, с гласове на студенти на практика отсъстващи, наред с напрежения между ценности и асиметрии на властта между заинтересованите страни. Това описва прегледаната литература. Това не е твърдение, че студентите никога не участват в дизайна на AI в образованието.

Липсва доказателство кои управленски решения правят измерима разлика. Променя ли участието на студенти и преподаватели възлагането, дизайна на инструментите, правилата за оценяване или средствата за защита след грешка? Хващат ли процедурите за човешки преглед съществени грешки? Наистина ли са налични алтернативи на използването на AI за хората, на които е казано да го използват? Изследванията за поверителност имат паралелен пропуск: образователната стойност на допълнителното събиране на данни обикновено се предполага, а дизайните, които минимизират данните, рядко са сравнявани с по-интрузивни такива едновременно по учене и по автономия на обучаемия. Виж Управление на AI и поверителност.

Направи изследването възстановимо

AI в образованието има необичайно труден проблем с възпроизводимостта. Изследванията пропускат подсказки, версии на модела, настройки, код и подробности за обучението, а патентованите системи могат да се променят по време или след интервенцията. Ограничения в изследванията за AI в образованието документира този модел.

Да възстановиш изследване означава да опишеш учебната организация, както и модела: учебните задачи, източниците на съдържание, разрешените действия, интерфейса, подкрепата от преподавателя, условията на оценяване и всичко, което е било променено по време на внедряването. Възпроизвеждането на една конфигурация и проверката дали педагогическият ѝ принцип се пренася върху друга са отделни постижения, а указанията за докладване в Методи за изследване на ефективността обхващат и двете.

Синтезата се нуждае от същото внимание. Метаанализ и систематичен преглед изброява слабите първични изследвания, публикационните пристрастия, разнородните интервенции и несъвместимите резултати като ограничения пред обединените заключения, а една средна „ефект на AI“ скрива разликите, от които преподавателите се нуждаят. Прегледите трябва да разделят представянето с помощ от самостоятелното учене, да разграничават типовете интервенции и условията на сравнение и да правят решенията за кодиране проверими.

Самата литература на синтезите е пропуск. Криминалистичният одит на O'Neill (2026) на 14 високоефективни метаанализа установи, че нито един не е дал валидна основа за твърденията си. Нито един кохерентен конструкт: инструмент, третиран като една интервенция, многомерни резултати, обединени. Публикационното пристрастие беше оценено невалидно и в 14-те. Съобщеният I² варираше от 77,2% до 94,4% във всеки анализ, който го съобщава, като 12 от 13 бяха над 80%. 61% от случайно проверените първични изследвания имаха проблеми с валидността. Тези 14 анализа събраха повече от 2 000 цитирания за около 16 месеца, а оттеглен метаанализ продължаваше да се цитира като авторитетен в 60% от цитиращите статии след оттеглянето, без да е отбелязано. От 14 статии, цитиращи друг одитиран метаанализ, чието резюме рекламираше голям ефект на „образование с AI“, който всъщност измерваше обучение на студенти за AI, само 2 го цитираха подходящо, 8 го прочетоха като доказателство, че интегрирането на AI подобрява ученето, а 4 бяха неточни по други начини. Одитът иска от списанията да изискват пълна прозрачност на данните за метаанализите (протоколи за търсене, кодирани характеристики на изследванията, извлечени статистики, аналитичен код), иска от редакторите да не третират публикационна история като доказателство за компетентност в рецензирането и иска оттеглянията да бъдат видими навсякъде, където една статия се открива, експортира или цитира. Възпроизводимостта обхваща веригата на синтеза, не само отделното изследване.

Преподавателите, които искат версията за класната стая, могат да последват методи за оценяване на интервенции с AI.

Какво изследователите и преподавателите разбират погрешно тук

На областта липсват изследвания. Липсват ѝ достатъчно точно определени изследвания. Има многоцентрови експерименти, рандомизирани изпитвания с хиляди студенти и 14 високоефективни метаанализа. Само 21% от одитираните сравнения дефинираха интервенция, контрол и резултат достатъчно добре, за да се припише ефект.

Да назовеш теория означава да я тестваш. Позоваването на теория за ученето е решение за рамкиране. Един тест се нуждае от предсказание, от поведение на системата, което го реализира, и от мярка за процеса, която би могла да излезе обратна.

Валидиран автоматизиран резултат е валидиран резултат за учене. Съгласието с човешки кодиращи установява последователност с тези кодиращи. Симулираните студенти се подобриха по мярка за достоверност, без да бъдат валидирани срещу човешко учене, а веригата от поведението на модела до резултата остава неизградена.

Достъпът е равенство. В изследването в Хонконг пропуските в психологическата готовност се свиха, докато разликите в обективния тест се запазиха, и всяка група се подобри, без неравенството да се затвори. Устройствата и лицензите променят кой може да достигне до инструмента.

Повече автономия е напредък. По-голямата независимост на агента е избор на дизайн. При 29% от 474 агентни изследвания, които се позовават на образователна теория, и ограничено лонгитудинално валидиране, никой не е показал, че прехвърлянето на контрол към системата подобрява ученето.

Възраженията, които ще чуеш

„Пропускът е просто, че ни трябват повече рандомизирани изпитвания.“ Вече има достатъчно, а проблемът стои преди етикетите на дизайна: изпитване на пакет, който обединява нова обратна връзка, нови задачи и нов интерфейс, не може да припише нищо на AI. Работата е в условието за сравнение.

„Не мога да проведа многогодишно проследяване.“ Тогава измери един отложен случай без помощ и кажи какъв интервал покрива. Една седмица е истинска констатация, а изследването с правилото за овладяване получи резултата си на първата седмица, като вгради AI в работния процес и се съсредоточи върху практикувания материал.

„Рандомизацията е невъзможна в моя курс.“ Дизайн-базираната и качествената работа отговарят на въпроси за внедряването, на които изпитванията не могат, и областта се нуждае и от двете. Където случайното разпределение е възможно, то все още носи причинното твърдение.

„Обединеният размер на ефекта вече ми казва какво работи.“ Одитираните 14 метаанализа определиха интервенцията като инструмент, обединиха несъвместими резултати и съобщиха I² над 80% в 12 от 13 анализа, които го дават. Обединеното число описва набор от изследвания с проблем в конструкта.

„Симулираните студенти са по-евтини, така че валидирането им може да почака.“ В изследването за угодничеството симулираните студенти изоставяха погрешни схващания независимо дали обратната връзка се отнасяше до тях, което е точно начинът на провал, който прави неефективен обучител да изглежда ефективен.

Какво да направиш тази седмица

1. Напиши в едно изречение условието за сравнение на изследването, което планираш. Ако то е обичайната практика, преработи го, преди да редактираш каквото и да е друго.

2. Добави една отложена мярка без помощ към дизайна и назови интервала в раздела за метода.

3. Напиши границата на популацията в описанието на дизайна, после в резюмето, така че твърдението да не може да пътува по-далеч от извадката.

4. Вземи най-силното твърдение в текущата си чернова и изтрий версията, която мярката ти не може да носи. Запази изречението за тавана.

5. За всеки автоматизиран резултат или симулиран обучаем в изследването назови човешкия стандарт и съдията, преди да започне събирането на данни.

Накъде след това

Докладване и тълкуване на изследванията за AI в образованието е двойникът на тази страница по докладване, а Методи за изследване на AI в образованието обхваща изборите на дизайн зад всеки пропуск. Методи за оценяване на интервенции с AI се занимава с мерките и дизайните на сравнение, Проверка дали образователният AI работи е по-кратката версия на въпроса за ефективността, а Помага ли AI на студентите да учат събира какво се знае за трайното учене. Развитие на теорията в AI в образованието а Изследвания за равенство, етика и педагогическа безопасност водят теоретичната линия и линията за равенство по-нататък.