Тълкуване и прилагане на AIED изследвания

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Тълкуване и прилагане на AIED изследвания — как да решите дали едно откритие за AI в образованието заслужава да действате по него, независимо дали преподавате, ръководите програма, проектирате курс или създавате софтуер. Не са ви нужни статистически познания, за да използвате тази страница. Тя започва с въпроса, който практикът всъщност има — трябва ли да правя това? — преминава през малкото неща, които отговарят на него, и запазва техническите подробности в отделен раздел по-нататък за всеки, който иска или има нужда от тях. Накратко: едно откритие заслужава да действате по него, когато знаете с какво е било сравнено, какво е измерено, кого са изследвали и дали инструментът все още съществува във формата, в която е бил изследван. Повечето твърдения, които стигат до преподаватели, администратори и разработчици, се провалят поне по едно от тези четири.

Въпроси за размисъл

• Доставчик, новинарска статия или колега твърди, че даден AI инструмент е подобрил ученето. Кое е единственото нещо, което бихте искали да видите, преди да го опитате в собствения си курс — и бихте ли знаели къде да го търсите?
• Всяка страница за статия в тази база знания вече има раздел Какво означава това за практиката, а повечето имат и раздел Ограничения. Като четете двата заедно, какво ви казва всеки от тях, което другият не ви казва?
• Студентите упражняват с AI инструмент и се справят по-добре в упражненията, а след това се справят по-зле на изпита без достъп до материали. Кое число е учебният резултат, който вашият курс цени — и биха ли настоящите ви оценки уловили разликата?
• Едно проучване обещава голямо подобрение, но е проследило 30 студенти в един курс в една институция, а версията на изследвания инструмент вече не е версията, която някой използва. Кой от тези два факта ви тревожи повече и защо?
• Много AI инструменти увеличават колко студентите ги използват, без да увеличават колко учат. Ако трябваше да избирате между инструмент, който повишава ангажираността, и такъв, който повишава представянето без помощ, какви доказателства биха решили избора?
• От вас се иска да одобрите или закупите инструмент въз основа на собствените числа на доставчика за ефективност. Какво бихте искали да бъде разкрито за това как са произведени тези числа?

Въведение

Тази страница е за хора, които трябва да решат нещо: преподавател, който се пита дали да промени задача, администратор, който претегля пилотен проект, дизайнер на обучение, който изгражда курс, разработчик на софтуер, който решава какво да прави една функция, или изследовател, който обяснява откритие на някого от тях.

Две навика правят разликата и нито един от тях не изисква изследователска подготовка.

Първо прочетете двата раздела, написани за вас. Всяка страница за статия тук вече носи раздел Какво означава това за практиката — обикновено три до пет конкретни действия, изведени от това проучване — а повечето носят и раздел Ограничения, който посочва какво проучването не може да подкрепи. Прочетете ги преди откритията на проучването, не след това. Разделът за практиката ви казва за какво е добро проучването; разделът с ограниченията ви казва къде свършва то. Ако разделът за практиката липсва или е неясен, третирайте страницата като незавършена, а не като доказателство.

Съдете твърдението, а не увереността на твърдението. Твърденията за AI в образованието обикновено са точни за нещо и подвеждащи за нещото, което ви интересува, защото едно проучване и вашата класна стая се различават по четири неща: с какво е било сравнено, какво е измерено, кой е участвал и коя версия на инструмента е използвана. Останалата част от страницата ви дава проверките на разбираем език, а след това и доказателствата зад всяка от тях за читателите, които ги искат.

Това, което следва, също не замества съседните страници. Изследователските методи в AI в образованието обхващат как се изграждат дизайни, Ограниченията в AIED изследванията каталогизират повтарящите се слабости на литературата, Оценяването на AIED обхваща как се оценяват системи и резултати, а Диференциалните ефекти между групи обучаеми обхваща кого едно откритие включва и кого не.

Четири въпроса, които решават повечето твърдения

Задайте ги, преди да похарчите време, пари или семестър за нещо.

1. С какво беше сравнено и беше ли това сравнение честно? „Студентите, които използваха AI, се справиха по-добре от тези, които не го използваха“ ви казва нещо само ако другите студенти са правили нещо реално. Ако сравнението е било обичайната практика — или нищо — тогава откритието смесва инструмента с допълнително време, допълнително внимание и новост. Какво да търсите: контролна група, която е получила достоверна алтернатива, и случайно разпределение към двете условия.

2. Какво точно са измерили? Тук повечето вълнуващи твърдения тихо се провалят. Резултати от тестове, качество на домашна работа, мотивация, нагласи и ангажираност се обединяват в едно число за „постижение“, или мярка за представяне в присъствието на инструмента се докладва като учене. Ученето, което зависи от наличието на инструмента, не е същото като ученето, което остава. Какво да търсите: какво е измервал инструментът, валидиран ли е за тази популация и измерен ли е резултат без AI в стаята.

3. Кого са изследвали, колко души и за колко дълго? Тридесет студенти в един курс са сигнал, а не резултат. Четириседмична интервенция не може да ви каже нищо за една година. А проучване със студенти, различни от вашите, все още е полезно — то е хипотеза за вашата среда, а не предсказание. Какво да търсите: размер на извадката, как са набирани участниците, единствен обект, продължителност и дали някоя подгрупа е била достатъчно голяма за анализ.

4. Инструментът все още ли е инструментът, който е бил изследван? Възможностите на AI се движат по-бързо от публикуването. Откритие от 2025 г. описва поколението модели от 2025 г. — понякога конкретна версия, понякога конфигурация, която никой вече не използва. Това не прави откритието невярно; прави го остаряло и означава, че твърдението трябва да се провери отново, а не да се наследява. Какво да търсите: версия на модела и прозореца на събиране на данните.

Какво казват доказателствата за AI твърденията като цяло

Ако запомните едно нещо от тази страница, запомнете, че числото в заглавието обикновено е завишено, а сравнението обикновено е слабо. Това не е маргинална позиция — това докладват одитите на самата област. Няколко добре проектирани проучвания наистина показват реален напредък; смисълът е, че тежестта на доказателството е върху твърдението.

• Около две трети от средния ефект изчезват, след като коригирате факта, че впечатляващите резултати се публикуват, а неубедителните — не. Bartoš et al. (2026) обединяват 1,840 размера на ефекта от 67 прегледа и установяват, че коригираната средна стойност е приблизително една трета от публикуваната медиана — SMD 0,196 срещу 0,67.
• Името на продукт не е метод на преподаване. Одитирайки сравненията зад един виден мета-анализ, Weidlich et al. (2025) установяват, че само 21% имат добре дефинирано третиране, контролна група и валидна мярка за учене — а докладваното предимство за „използване на ChatGPT“ излиза по-голямо от това за специално изградените интелигентни системи за наставничество (g = 0,7 срещу 0,66), което е предупредителен знак, а не триумф.
• Представянето с инструмента редовно се бърка с учене. В едно проучване по математика в K-12 студентите, упражняващи с чатбот с общо предназначение, получават по-добри оценки за упражненията и след това се справят с около 17% по-зле от връстниците без достъп до AI на изпита без материали (доказателствената база на Stanford за AI в K-12).
• Собствените прегледи на областта не издържат на одит. Одитът на O'Neill (2026) върху 14 рецензирани мета-анализа, твърдящи, че AI подобрява образованието, установява, че нито един не предоставя валидна основа за твърденията си, а сред 46 случайно избрани първични проучвания 61% показват проблеми с валидността. Проблемът не е една лоша статия; това е култура на докладване.
• Един преглед може да измери изкривяването при докладването в собствения си корпус. Систематичен преглед на 155 проучвания във висшето образование установява, че 117 (75,5%) докладват успешно внедряване, 124 (80,0%) обхващат само краткосрочно въздействие и само 23 (14,8%) докладват за провали в етиката, равенството или управлението — дисбалансът, който проверките по-горе описват, измерен върху собствената доказателствена база на прегледа (Nyamboga (2026)).
• Самодокладването ласкае всички. Хората оценяват собствените си AI умения с около 40% по-високо, отколкото показват мерките за представяне, поради което проучванията за удовлетвореност и увереност са най-слабото доказателство, на което можете да действате (Самодокладващи мерки, Образователно измерване).
• Повечето продукти, които вече са в класните стаи, нямат никакви независими доказателства. Обиколката на обучението на Instruction Partners за 2025–26 г. профилира 20 AI продукта, насочени към студенти, и установява, че от 16-те с пълни профили само седем имат независим преглед, изследващ постиженията на студентите между групи студенти в САЩ; две са изследвани само в чужбина, четири имат текущи проучвания, а три разчитат само на вътрешни данни. Авторите твърдят, че независимите причинно-следствени проучвания, обхващащи приоритетни групи, трябва да бъдат очакването за всички продукти, насочени към студенти — а не все още норма за инструментите, които училищата вече използват.

Превръщане на откритие в решение

Последователността, която спестява най-много пропиляно усилие, подредена.

1. Първо запишете своя резултат. Не „използвайте AI повече“, а „студентите могат да правят X без инструмента“. Ако вашият резултат е представяне без помощ, тогава проучване, което е измерило представяне с помощ, е съседно доказателство, а не пряко.
2. Намерете сравнението и мярката — в проучването или в раздела за практиката на страницата му. Ако едно от двете липсва, третирайте твърдението като демонстрация, а не като откритие.
3. Четете раздела с ограниченията като инструкции, а не като отказ от отговорност. „Един курс, самодокладвани резултати, четири седмици“ ви казва точно кое от вашите допускания проучването не покрива.
4. Проверете версията и датата. Ако проучването е използвало поколение модели на две години, планирайте повторно тестване, вместо да предполагате.
5. Назовете позволяващите условия. Разходи, лицензи, време на персонала, правила за данните и дали студентите трябва да плащат за нивото, което действително работи. Проучванията рядко ги носят, а те решават дали една интервенция оцелява един семестър. В проучване за развитие на преподаватели с десет участници всички казват, че ще продължат да използват AI, докато същите хора описват лични абонаменти за достъп до инструменти и липса на подкрепа с време за преработките, които са планирали.
6. Пилотирайте малко и измервайте условието без подкрепа. Кратко измерване преди/след с една оценка, направена без инструмента, бие проучване за удовлетвореност. Малкото и честно бие голямото и риторичното. Вижте Дизайн на обучението за мястото на това в дизайна на курса.
7. Отбележете дата за преглед в дневника си и бъдете готови да изоставите твърдението. Когато предпоставката на едно проучване е възможност, която вече не съществува, честният ход е да оттеглите твърдението, вместо да го цитирате безкрайно — същата дисциплина, която тази база знания прилага към собствените си страници.

Думи, които ще срещнете в изследванията

Плоски преводи, за да можете да прегледате проучване или страница на доставчик без методологична подготовка.

• Размер на ефекта — колко голяма е била разликата, по скала, където 0 е нищо. Третирайте малките стойности като „лек тласък“, а не като „преобразяване“.
• Статистически значим — малко вероятно е да е чиста случайност в тази извадка. Това не казва нищо за това дали ефектът е голям или дали ще се случи във вашия клас.
• Доверителен интервал — диапазонът от резултати, които данните не могат да изключат. Ако диапазонът включва нула, откритието може да не е нищо, колкото и интересно да е заглавието.
• Мета-анализ — проучване, което обединява много проучвания. Мощен и само толкова добър, колкото е това, което е обединил, поради което прегледите се одитират.
• Публикационно отклонение — интересните резултати се публикуват, а скучните — не, така че средната стойност в литературата изглежда по-розова от реалността.
• Самодокладване — хората описват себе си. Полезно за нагласи, слабо за компетентност или поведение.
• Контролна група — условието за сравнение. Единственото най-важно нещо, което да търсите.
• Преди/след — измерено преди и след без група за сравнение. Подсказващо, никога окончателно.
• Анализ на подгрупи — резултати за част от извадката. Обикновено с недостатъчна мощност, така че ги третирайте като хипотеза.
• Репликация — някой друг е получил същия резултат. Рядко и най-силното налично доказателство.
• Бенчмарк — фиксиран набор от задачи за оценяване на системи. Резултатите се движат, когато целта се движи, така че проверявайте датата.

Кога все пак да се забавите

• Твърдението идва от доставчика, по неговите показатели. Това все още може да е информативно — един доставчик на AI наставничество докладва показател за ангажираност, калибриран спрямо човешки експерти при F1 0,83, с подобрения, идващи от над 40 експеримента за пет месеца (Udeshi et al., 2026) — но конструктът, оценителите и показателят са избор на доставчика. Поискайте групата за сравнение и резултата без подкрепа.
• Автоматизираното оценяване се приема за решен проблем. Високото съгласие с човешките оценители е надеждност, а не качество. В едно проучване за оценяване човешките оценители са се съгласявали с консенсуса на множество оценители при около r = 0,88, така че автоматизираните оценки близо до r = 0,85 вече са били на собствения таван на измерване на задачата (Кога да се доверите на AI оценяването).
• Списъкът с референции понася тежката работа. Тридесет записа в референции, съдържащи проверимо измислена библиографска информация, бяха потвърдени в 14 статии по компютърно образование, всички от 2025 и 2026 г. (Denny et al., 2026). Ако твърдение се крепи на цитат, проверете цитата.
• Никой не е измерил поведението, от което зависи вашата политика. Сред 493 записа без дубликати и 14 приоритетни проучвания нито едно не е измерило дали верификацията е успяла и какво е направил обучаемият след това с нея, преценено спрямо независим стандарт за качество на резултата (верификация и калибриране на зависимостта). Политиките на курса зависят точно от това поведение.

Ако изграждате или купувате инструмент

Същите проверки се обръщат в изисквания за дизайн, а страниците за оценяване в базата знания носят подробностите (Оценяване на AIED, Автоматизирано оценяване).

• Направете сравнението част от спецификацията на функцията. Решете какво иначе би правил обучаемият и бъдете в състояние да кажете защо вашият инструмент превъзхожда това — а не защо превъзхожда нищо.
• Измерете условието без подкрепа. Ако вашият резултат е учене, включете задача, изпълнена без инструмента; представянето само с помощ ще ви подведе точно толкова, колкото подвежда и купувачите ви.
• Докладвайте как са били валидирани автоматизираните ви преценки — златният стандарт, целта за калибриране, кой е решавал разногласията — и го докладвайте като надеждност, а не като качество.
• Назовете версията и датата във всяко твърдение за ефективност, защото следващото ви издание ги обезсилва.
• Покажете противотежестите: разход на студент, достъпност, обработка на данните и какво се случва с обучаемите на безплатното ниво. Вижте Разкриване на използването на AI, поверителността и управлението.

За читателите, които искат доказателствата

Проверките по-горе не са народна мъдрост; те идват от документирани провали в тази литература. Този раздел запазва подробностите за всеки, който рецензира статия, защитава решение или твърди, че даден инструмент трябва да бъде оценен както подобава.

Провалите на валидността имат разпределение, а не само наличие. В 46-те одитирани проучвания на O'Neill (2026) несъответствието на зависимата променлива е най-честият проблем (n = 15) — мярката не е улавяла това, което твърдението е заявявало — следвано от несъответствие на независимата променлива (n = 11), проблеми с експерименталния дизайн (n = 7), проблеми с извличането на данни (n = 6), липса на контролна група (n = 6) и неслучайно разпределение на групите (n = 6). От 14-те мета-анализа дванадесет са третирали множество размери на ефекта, извлечени от едно и също първично проучване, като независими, което завишава видимата доказателствена база.

Твърденията за подгрупи обикновено са нерешими в проучванията, които ги правят. Микро-RCT по природни науки за GCSE докладва взаимодействие третиране-по-статус от 0,57 точки (95% CI -2,25 до 3,39), със стратифицирани оценки от g = 0,28 (95% CI -0,04 до 0,59) за една група и g = 0,35 (95% CI 0,18 до 0,52) за другата. Интервал, пресичащ нулата, не е откритие за равенството; това е въпрос за местен пилот.

Една синтеза може да спази собствения си протокол и все пак да обедини проучвания с различно качество, без да го претегли. Doğan et al. (2026) заявяват направо, че не са използвали формален инструмент за оценка на качеството, третирайки критериите си за включване като праг за строгост, така че квази-експериментално и рандомизирано проучване са допринесли еднакво — а хетерогенността им се чете като I² = 82,98% при модел с фиксирани ефекти, но 15,75% при модел със случайни ефекти, поради което число за хетерогенността, цитирано без модела си, не може да ви каже колко непоследователен е корпусът.

Валидирането на автоматизирана преценка е част от резултата. Съгласието с човешки кодиращи е твърдение за надеждност, а таванът по-горе показва защо то не е същото като качество (машините погрешно разчитат педагогическото качество).

Поколението на инструмента е ограничение от първи ред. Преглед на подпомаганото от AI оценяване отбелязва, че собствените му открития отразяват конкретни версии на модели в конкретни моменти и че движението на областта прави всеки отчет за възможностите на моделите потенциално остарял в рамките на месеци (Подпомагано от AI оценяване и преподаване във висшето образование). Ограничавайте твърденията до тяхното поколение: „генеративният AI подобри X“ не е преносимо, докато „инструменти от ерата на GPT-4, в тази задача, с този Scaffolding“ е.

Целите на бенчмарковете се движат, така че резултат, който дадена система насища или проваля днес, може да се обърне със следващото издание; проверките за насищане и замърсяване принадлежат към всяко твърдение, основано на бенчмарк.

Четенето на тази литература редом с нейните критици е нормална практика тук. Контролните списъци за докладване за автори и рецензенти са в ЧЗВ за докладването и тълкуването на AI изследвания, а навиците за оценка на тази страница се съчетават с Развитието на теорията в AI в образованието, когато твърдението е теоретично, а не емпирично.

Кратък контролен списък

1. Заявете резултата си в едно изречение, включително дали инструментът присъства в него.
2. Намерете сравнението. Без достоверно сравнение няма решение.
3. Съпоставете мярката с твърдението си и предпочитайте резултат без подкрепа.
4. Свийте числото: четете коригирания за отклонение ефект, а не заглавието.
5. Проверете версията на модела и датите на проучването.
6. Четете раздела с ограниченията като инструкции за това какво все още не знаете.
7. Изчислете разходите: лицензи, нива, време на персонала, правила за данните.
8. Пилотирайте малко с мярка без подкрепа, след което решете.
9. Отбележете дата за преглед след година и бъдете готови да оттеглите твърдението.

Чести заблуди

„Публикуваният мета-анализ е установено доказателство за AI в образованието.“ Синтезите на областта не са издържали на одит. Одитът на O'Neill (2026) върху 14 рецензирани мета-анализа, твърдящи, че AI подобрява образованието, установява, че нито един не предоставя валидна основа за това заключение. Обединеният размер на ефекта е само толкова добър, колкото са обединените проучвания, а в тази литература обединяването редовно е включвало дизайни, които не могат да припишат резултата на AI. Преди да цитирате мета-аналитично число, попитайте какво е агрегирало.

„По-големият размер на ефекта принадлежи на по-добрата интервенция.“ Често е обратното. В контекста на прегледа, който тази страница документира, само 21% от проучванията имат добре дефинирано третиране, контролна група и валидна мярка за учене — а докладваното предимство за „използване на ChatGPT“ излиза по-голямо от това за специално изградените интелигентни системи за наставничество. Слабо специфицираните третирания са склонни да произвеждат завишени ефекти, защото сравнението е по-неясно, а мярката за резултата — по-хлабава. По-голямото число е причина да погледнете дизайна, а не причина да предпочетете интервенцията.

„По-високите оценки при използване на инструмента показват, че инструментът е научил повече.“ В едно проучване по математика в K-12 студентите, упражняващи с чатбот с общо предназначение, получават по-добри оценки за упражненията и след това се справят с около 17% по-зле на оценяване без подкрепа. Представянето в упражненията, измерено в присъствието на инструмента, е завишената мярка; резултатът без подкрепа е изходът и само един от двата се покачва.

„Ако ефектът е реален, подробностите на внедряването нямат голямо значение.“ Те са ефектът. Проучване, проследило 30 студенти в един курс в една институция, върху версия на инструмента, която никой вече не използва, е произвело откритие за конфигурация, която вече не съществува. Спецификацията на третирането, версията и средата са част от твърдението, а не контекст около него.

Свързани концепции

• Ограничения в AIED изследванията
• Дизайн на обучение
• AI Ed Evaluation
• Educational Measurement
• Assessment Validity
• Self-Report Measures
• Learning Gains
• Differential Effects Across Learner Groups
• Research Methods in AIED
• AI-Assisted Educational Research — Подпомагано от AI образователно изследване
• Meta-Analysis and Systematic Review
• Quantitative Research
• Benchmark
• RCT
• Intelligent Tutoring
• Когнитивно изнасяне
• AI Use and Disclosure Statements
• Развитие на теорията в AI в образованието

Свързани статии

• Presumed Effective: The Manufacturing of an Evidence Base for AI-in-Education Through Flawed Meta-Analysis — Presumed Effective: щателен одит на 14 мета-анализа в AIED
• Effect of Artificial Intelligence on Learning: A Meta-Meta-Analysis — AI ефектите, коригирани за публикационно отклонение, са около една трета от докладвания размер
• ChatGPT in Education: An Effect in Search of a Cause — ChatGPT in Education: An Effect in Search of a Cause
• The Impact of Artificial Intelligence-Supported Instruction on Student Learning in STEM: A Systematic Review and Meta-Analysis — Критериите за включване като праг за строгост и хетерогенност, която се променя с модела
• Know when to trust: Making AI scoring more reliable for educational assessment — Когато надеждността на автоматизираното оценяване срещне тавана на измерване на задачата
• Beyond checking: verification quality, reliance calibration, and learning in generative AI-assisted higher education — Какво не измерва литературата за верификацията и зависимостта
• Testing Our Foundations: Citation Trends, Errors, and Emerging Hallucinations in the Computing Education Literature — Измислени референции, достигнали до печат през 2025–2026 г.
• The Evidence Base on AI in K-12: A 2026 Review — Печалби в упражненията, загуби на изпита: проблемът с премахването на помощта в математиката в K-12
• Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science — Ефекти за подгрупи, чиито доверителни интервали пресичат нулата
• From fear to innovation: A case study of transformative faculty development for ethical AI integration in higher education — Позволяващи условия: сигнали от политиката, лични абонаменти, липса на време
• Methodologies for improving the quality of AI tutoring in K-12 education — Показатели на доставчик с разкрити калибриране и брой експерименти
• AI-assisted assessment and instruction in higher education: Foundations, applications, and implications for exam design — Открития, обвързани с версии на модели, и турбуленцията в областта
• AI in Action Learning Tour — Броят на независимите доказателства за 16 AI продукта за студенти, вече в употреба
• From digital transformation to intelligent classrooms: artificial intelligence, adaptive leadership, and service delivery in global higher education—a systematic literature review — Един преглед може да измери изкривяването при докладването в собствения си корпус