Помага ли наистина използването на AI на моите студенти да учат?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Студент ти казва, че AI обучителят е причината най-накрая да е разбрал материала, а ти нямаш начин да провериш твърдението. Или на бюрото ти попада пилотен проект със анкета за удовлетвореност и екранна снимка на растящи оценки за задачи, и някой иска решение за лиценза до края на месеца. Или стоиш пред група и се чудиш дали инструментът, който току-що каза да отворят, им помага да практикуват или им помага да избягват практиката.

Краткият отговор: да, AI може да помогне на студентите да учат, и нито едно от нещата, които най-вероятно ще видиш, не установява, че това е станало: по-добри задачи, по-бързо завършване, доволни студенти или продукт, наречен обучител. Това, което разделя случаите, в които ученето се подобрява, от случаите, в които не се, е дизайнът на дейността и резултатът, който си избрал да измерваш.

Накратко

1. Назови способността първо, после реши какво доказателство би показало, че тя се е променила.

2. Измери същата способност по-късно, след като инструментът е отнет, защото това е единствената мярка, която отговаря на въпроса ти.

3. Постави собствения опит на студента преди помощта и изискай отговор на помощта след това.

4. Оценявай проверката: какво са проверили, какво са отхвърлили, какво са променили.

5. Гледай резултатите по предварително знание, защото средното скрива студентите, които дизайнът проваля.

Реши какво разбираш под учене, преди да гледаш каквото и да е доказателство

„Помага ли AI на студентите да учат“ не е един въпрос. Той обединява поне три: повишава ли инструментът представянето, докато е отворен, изгражда ли способност, която се запазва, когато е затворен, и променя ли кой в крайна сметка притежава тази способност. Доклад на доставчик, анкета от пилот и рандомизирано изпитване могат всички да бъдат честни и все пак да отговарят на различни въпроси.

Запиши способността, преди дейността. „Да произведеш изчистен доклад“ е различен резултат от „да подбереш подходящи доказателства“, „да обясниш причинна връзка“ или „да откриеш неподкрепено заключение“. Оценяването трябва да разкрива способността, която възнамеряваш да развиеш, което е аргументът в образователното измерване и отправната точка на оценяването на AI в образованието.

Корпусът подкрепя две твърдения едновременно и задържането и на двете е дисциплината, която тази страница изисква. Синтеза на Световната банка, Може ли образователната технология да затвори пропуските в ученето?, обедини 14 рандомизирани изследвания в десет икономики и оцени положителен среден учебен ефект от 0,125 стандартни отклонения за адаптивна и подкрепена с AI образователна технология. Тя също съчета по-ранни адаптивни системи с инструменти на генеративния AI, не намери статистически установено предимство за по-новите генеративни инструменти и призна значителна несигурност в това сравнение. Резултатът подкрепя потенциала на тези интервенции, а не твърдението, че който и да е чатбот ще подобри ученето. Положителна средна стойност, с други думи, е съвместима с голяма вариация и с никакво доказано предимство за нещото, което всъщност обмисляш.

По-полезните изследвания са тези, които променят дизайна в рамките на един експеримент. Многоцентрово рандомизирано изследване с 1 176 първокурсници сравни обратна връзка от връстници, директна обратна връзка от AI, самооценка, последвана от обратна връзка от AI, и хибридна последователност от самооценка, обратна връзка от връстници и критика от AI. Рефлексивните и хибридните условия дадоха по-силен отложен трансфер без AI от директната обратна връзка от AI: студентите се представиха по-добре в нова задача за научна аргументация, не само в есето, което преработваха. Тези условия също изискваха повече оценъчна работа и вероятно повече време, така че изследването подкрепя целия дизайн на обратната връзка, а не един негов компонент.

Провери дали ползата оцелява, след като инструментът бъде отнет

Това е най-информативната проверка, с която разполагаш, и е лесно да я пропуснеш в един пилот.

Най-ясното предупреждение в корпуса е рандомизиран полеви експеримент с близо 1 000 ученици от гимназията, Генеративният AI без предпазни ограничения може да вреди на ученето. Интерфейс в общ стил повиши резултатите от практиката с помощ с 48% спрямо контролата, а същите ученици после получиха с 17% по-нисък резултат на изпити без помощ. Обучител, конфигуриран с указания и подсказки, изготвени от преподавател, до голяма степен избегна тази санкция. Той не даде статистически значимо подобрение в представянето на изпит без помощ спрямо контролната група. Избягването на вреда и демонстрирането на допълнително учене са различни постижения.

В национален мащаб същото разделяне се появява със закъснение. Наказанието за учене от генеративния AI проследи 26 811 китайски ученици от средното образование в класове 7-12 за 30 месеца, използвайки поетапно въвеждане. Оценките за домашна работа се повишиха с 18%, а времето за завършване падна с 30%, от 64 на 45 минути. Оценките от месечните изпити без достъп до материали паднаха с 20% в рамките на шест месеца, а оценките от важните приемни изпити паднаха с 18% до 24% от базовото ниво, но само след около две години. Загубите се концентрираха сред приблизително 81% от потребителите, чието поведение сочеше възлагане на домашната работа, докато учениците, които запазиха времето за домашна работа сравнимо с това на неползващите, учеха приблизително толкова ефективно. От това следват две неща за твоя курс: разминаването между представянето на домашната работа и на изпита е пропастта между представяне и учене в национална кохорта, а двугодишното закъснение означава, че оценка в рамките на един семестър систематично ще подценява цената.

Образованието по компютърни науки показва същата структура. Систематичният преглед на 72 изследвания намери, че генеративният AI надеждно повишава краткосрочното завършване и намалява времето за задача в 36 изследвания, като нито едно изследване в корпуса не документира отрицателен ефект върху непосредственото представяне, а тези ползи „не се пренасят върху самостоятелното представяне“ в 21 изследвания. Студентите с помощта на Codex завършиха два пъти повече задачи по време на ученето и се представиха не по-добре от контролите на посттестове без AI.

После стои въпросът дали студентите изобщо използват помощта. Двугодишен рандомизиран училищен експеримент в 18 средни училища, На един клик разстояние, намери скромни постижения по математика, а учениците рядко водеха съдържателни разговори с обучителя. Авторите отбелязват, че ползите приличаха на ползите, докладвани за структурирана практика без AI, а дизайнът съчетаваше индивидуализирана практика с AI обучение, така че не изолира приноса на AI компонента. Наличен способен обучител е различен факт от това студентите да го използват продуктивно.

Правене на AI обучението продуктивно добавя по-остър урок от повече от 6 000 ученици от средното училище, които използват NUMI. Подкрепата от AI подобри възстановяването след грешки и забави напредъка през въпросите. Правило за овладяване с три верни отговора подред повиши успеха, дефиниран от платформата, без само по себе си да подобри ученето седмица по-късно. Най-силният сигнал за отложено учене се появи, когато AI беше вграден в работния процес за овладяване, а тези ползи бяха маргинално статистически значими и концентрирани върху определен практикуван материал. Това е подсказващо доказателство за структуриран подход, не доказана рецепта.

Изгради дейността така, че студентът да върши мисленето, което има значение

Дизайнът на обучението има по-голямо значение от това кой модел използваш. Дизайнът, който оцелява след тези резултати, има четири хода: опит, помощ, насочена към трудността, нещо, което студентът прави с помощта, и ново приложение с оттеглена подкрепа.

1. Поискай първоначален опит, предсказание, чернова, обяснение или интерпретация.

2. Предложи целенасочена помощ: подсказка, обяснение, контрастен пример или фокусирана обратна връзка върху точката, в която са заседнали.

3. Изискай отговор на помощта. Студентът я обяснява, преработва с нея, проверява я или обосновава защо я приема или отхвърля.

4. Провери сравнима задача или различен контекст с оттеглена подкрепа.

Това е отправна точка за обучение, а не валидирана последователност, и правилното количество и момент на подкрепа зависят от студентите и задачата. Тя отразява това, което подчертават синтезите за скафолдинг и активно учене: подкрепа, която помага на обучаемите да разбират, да практикуват, да оценяват и в крайна сметка да се представят с по-малко от нея.

Приложи принципа към целта, не механично към всяка функция. „Скафолдвай, не замествай“ е добро правило с капан вътре в него. Пълен решен пример може да е нещо, от което студентите се учат, а последователност от подсказки все още може да стане нещо, през което щракат без да мислят. Значение има какво прави обучаемият с помощта, затова когнитивното изнасяне и търсенето на помощ стоят в противоположните краища на това, което един и същ инструмент може да произведе.

Контрапримерът си струва да се държи в полезрението, защото не ти позволява да превърнеш усилието в заместител на ученето. В предрегистрираните експерименти, докладвани в Наставник, не патерица, възрастните, които практикуваха преработване на мотивационни писма с AI, след това написаха по-добри текстове без AI от тези, които практикуваха сами, и похарчиха по-малко усилия за това. Ползите се запазиха при проследяване след един ден, а втори експеримент установи, че разглеждането на преработен с AI пример дава ползи, сравними с практиката с инструмента. Това бяха кратки, ограничени задачи по писане, не доказателство за трайно подобрение в писането изобщо. Те показват, че по-малкото усилие не е автоматично по-малко учене и че целта е да се запази учебната дейност, а не да се максимизира трудността.

Направи запазеното мислене видимо в това, което оценяваш

Как студентите използват инструмента има по-голямо значение от това дали разполагат с него. В качествено изследване на 38 студенти от бакалавърска степен при неохранявани оценки с есета ангажираността варираше от когнитивно възлагане до когнитивно преразпределяне, изместването на усилието от извличане на ниско ниво към критично оценяване. Повечето студенти, 31 от 38, възнамеряваха да използват генеративен AI като учебен помощник. На практика 76,32% разчитаха на един ход питане, получаване на отговор, край на диалога, а 78,94% използваха инструмента преди или след писане на черновата, а не през задачата. Само 8 студенти работеха като когнитивни партньори чрез продължителен, итеративен диалог. Този спектър, от възлагане до преразпределяне, е това, което описва взаимодействието студент-AI. Един участник описа ефекта така: „скоростта, с която го забравяш, също е много висока“.

Педагогическият урок е, че общите разрешения и общите забрани оставят студентите да гадаят. Това, което промени поведението, според изследването, беше насока, специфична за задачата, за това коя когнитивна работа студентите трябва да запазят и коя помощ е подходяща, посоката на дизайн, развита в намаляване на измамите с AI и намаляване на злоупотребите с AI.

Затова направи запазеното мислене артефакт, който можеш да оцениш. По математика поискай опита за решение, преди да бъде поискана помощ, после накарай студентите да използват подсказка като „посочи първата стъпка, която трябва да преразгледам, дай ми една полезна подсказка и ме помоли да опитам отново“, и изискай ново решение плюс обяснение, а не възпроизвеждане на отговора на AI. По писане накарай студентите да оценят черновата си спрямо рубриката, преди да поискат критика, и после да обяснят кои предложения са приели, променили или отхвърлили. Ако изграждането на аргумент е целта, текстът на AI не може да замести доказателство, че студентът умее да изгради аргумент. Ако целта е оценяване на алтернативни преработки, сравняването на пълни примери е подходящо. Страниците за обучение по писане и грамотност за обратна връзка носят подробностите.

Изискването на прегледа за дизайн е същият ход на ниво курс: проверка, тоест четене, тестване, промяна, обясняване и критикуване на резултат от AI, превърната в оценяван и наблюдаем компонент, а не в стремеж, оставен на преценката на студента. И не всеки легитимен резултат трябва да бъде демонстриран без AI. Един курс може съзнателно да учи на ефективна работа с подкрепата на AI, като в такъв случай оценяваш способността на студента да избира, проверява, преработва и защитава използването на инструмента редом с независимите основи, които дисциплината изисква. Тест за човешка способност за резултатите от ученето в ерата на AI предлага това тройно разграничение между самостоятелна способност, представяне с усилване от AI и отговорност за проверка. Това е концептуална рамка, не валидиран инструмент.

Провери на кого инструментът помага и кого тихо изоставя

Средно подобрение може да прикрие студенти, които не са спечелили нищо или са срещнали нова пречка. Синтезата за цифровото разделение отделя достъпа до инструмент от умението, нужно за използването му, и от това кой в крайна сметка получава полезен резултат, и трите имат значение за един курс.

Предварителното знание модерира всичко в прегледа по компютърни науки: добре подготвените студенти превръщат помощта в трайно умение, докато слабо подготвените рискуват да я използват като патерица, която отнема практиката, от която се нуждаят. Националното кохортно изследване показва същата концентрация по свой начин, като загубите в ученето стоят при 81%, чието поведение с домашната работа сочеше възлагане.

За оценка в класната стая раздели резултатите по предварително знание, езикови потребности и изисквания за достъпност, вместо да докладваш средно за курса. Да научиш студентите как да получават и оценяват полезна обратна връзка е част от AI грамотността и не идва с лиценза. Когато оценяваш самостоятелно учене, премахни помощта, която доставя целевото мислене, и остави приспособленията, които осигуряват достъп до задачата, което е разграничението, на което се крепят и достъпността, и равенството в образованието с AI.

Разгледай и обратната връзка, която студентите действително получават. Плавен отговор може да диагностицира погрешно трудността, да затвърди грешка или да предаде отговор там, където е била нужна друг вид подкрепа. Използвай материали, съответстващи на курса, запази път до човешка помощ и събирай не повече информация за студентите, отколкото дейността изисква. Качеството на обратната връзка от AI, педагогическата безопасност и поверителността покриват конкретиката.

Не се доверявай на таблото, включително на своето

Метриките на платформата са най-лесното доказателство за решение за възлагане и най-лесното за свръхтълкуване. В оценка на осем AI преподавателски агента в медицинското образование класацията по собствения резултат на платформата се размина с рубрика за качество на преподаването, валидирана от експерти. Агентът, класиран трети от платформата, беше последен по качество според рубриката, защото резултатът на платформата следеше представянето на студента по време на взаимодействието, а не преподавателското поведение на агента. Вградената метрика е хипотеза за валидиране.

Същият скептицизъм важи за доказателството, което генерираш сам. Анкетата за удовлетвореност измерва удовлетвореност, а възприетото учене е мярка за самоотчет, за която корпусът документира голямо разминаване с измереното учене. Оценките за задачи измерват задачата. Нито едно от двете не ти казва какво може студентът след три седмици със затворен инструмент, а Методи за оценяване на интервенции с AI излага дизайните на сравнение, които те приближават.

Какво преподавателите разбират погрешно тук

„По-високите оценки за задачата означават, че са научили повече.“ Двете могат да се движат в противоположни посоки. Експериментът с предпазни ограничения повиши практиката с помощ с 48%, докато изпитите без помощ паднаха със 17%, а националната кохорта видя оценките за домашна работа да растат с 18%, докато оценките от изпити без достъп до материали паднаха с 20% в рамките на шест месеца. Нито един от тези модели не би се появил в дневник, който записва само окончателното предаване.

„Това е обучител, значи е безопасно.“ Обучител е етикет, а резултатите зад етикета са смесени. Конфигурираният от преподавател обучител избегна санкцията на изпита и не победи контролата на изпити без помощ. Khanmigo даде скромни ползи, които приличаха на структурирана практика, с малко съдържателно обучение. AI на NUMI забави напредъка през въпросите. Един обучител може да задържи решенията и все пак да погълне практиката.

„Ако се усеща по-лесно, значи не ги учи на нищо.“ Грешно в двете посоки, затова усилието е лош заместител. Наставник, не патерица намери по-малко усилие с по-добро писане без AI ден по-късно, така че лекотата не е признакът. Това, което разделя случаите, е дали студентът е вършил мисленето, което целта назовава, а това е въпрос на дизайн, не настройка за трудност.

„Общо правило или по-добра подсказка оправя как го използват.“ Изследването с 38 студенти намери повечето студенти в режим на един ход питане и спиране точно при условията, в които им беше казано, че AI е учебен помощник. Поведението промени насока, специфична за задачата, и оценявано изискване за проверка. Ред в политиката и хитроумна подсказка са и двете входове към това и нито едно не го замества.

„Резултатът на платформата или анкетата за удовлетвореност ми казва, че работи.“ Оценката на осемте агента намери класация на платформа, която се обръща под експертна рубрика. Удовлетвореността и възприетото учене са самоотчети. И двете си струва да се събират като информация за процеса и нито едно не е мярка за учене.

„Достъпът е проблемът с равенството и ние решихме достъпа.“ Достъпът е една от три линии, редом с умението и това кой получава полезен резултат. Предварителното знание решава дали помощта става умение или патерица, а загубите в националната кохорта се концентрираха в групата, чието поведение предполагаше заместване, а не в групата без устройства.

Какво ще ти се върне

„Студентите ми казват, че помага.“ Вероятно наистина помага с работата, която е пред тях, и това е констатацията, не опровержение на нея. Питай какво могат да направят в подобна задача със затворен инструмент и получаваш отговора, който има значение.

„Изследванията си противоречат, така че защо да действам по което и да е от тях?“ Те рядко си противоречат, след като подредиш резултата, който всяко е измервало. Положителните резултати обикновено измерват представяне с помощ, удовлетвореност или добре структурирана дейност с отложени проверки; отрицателните измерват представяне без помощ по-късно. Синтезата на Burneo прави несигурността изрична: 0,125 стандартни отклонения средно в 14 изпитвания, без установено предимство за по-новите генеративни инструменти. Подобрение преди и след не може да покаже, че AI е причинил ползата, тъй като студентите напредват през останалата част от преподаването, а методите за изследване на ефективността излагат дизайните на сравнение, които те приближават. Действай по твърденията за дизайна, които се възпроизвеждат, и остани отворен за размера на ефекта, който не се.

„Имам 200 студенти. Не мога да провеждам отложени оценявания.“ Нужна ти е една кратка базова задача и един отложен въпрос, не изследване. Използвай същия тип задача три седмици по-късно без инструмента, запази миналогодишната версия на изпита като грубо сравнение и вземи извадка от работата, която изглежда несъответстваща на по-ранните предавания. Това е достатъчно, за да видиш 48% полза с помощ редом със 17% загуба без помощ, ако това се случва в твоя курс.

„Khanmigo получи положителен резултат, значи обучението работи.“ Той получи скромни постижения по математика в 18 средни училища, в дизайн, който съчетаваше индивидуализирана практика с AI обучение, докато учениците рядко водеха съдържателни разговори с обучителя. Чети го като доказателство, че добре структурирана среда за практика може да даде малки ползи, не като доказателство, че AI компонентът ги е причинил.

„Не мога да го забраня и не мога да го контролирам.“ Правилно и по двете точки, и нито едно от двете не се изисква. Въпросът на дизайна е какво прави лесно твоята дейност. Ако проверката се оценява, декларирането не струва нищо и проверката без помощ съществува, повечето студенти поемат пътя, който си изградил.

„Не преподавам AI. Това не е моят предмет.“ Намесата се случва вътре в твоя предмет, на стъпката, където AI изпълнява практиката, която твоят курс съществува да осигури. Затова поправката е промяна в задачата, а не нов модул.

Какво да направиш тази седмица

1. Вземи една дейност, която вече провеждаш, и напиши изречението за способността: какво трябва да може студентът след нея със затворен инструмент.

2. Добави двуминутен базов тест в началото и същия тип въпрос три седмици по-късно. Оцени и двете без AI в стаята.

3. Промени една подсказка, която даваш на студентите, от „обясни това“ на „дай ми една подсказка, после ми задай въпрос“, и изискай преработен опит, преди да продължат.

4. Добави един оценяван артефакт за проверка: кратка бележка какво са проверили, какво са отхвърлили и какво са променили.

5. Раздели резултата по предварително знание за студентите, за които вече знаеш, че се затрудняват, и прочети обратната връзка от AI, която извадка от тях е получила.

Накъде след това

Методи за оценяване на интервенции с AI обхваща мерките и дизайните на сравнение зад проверките по-горе, а Оценяване на AI в образованието е практическото ръководство за оценяване. Как AI влияе на студентите поема страната на студентското преживяване, Десетте най-важни констатации за преподаватели свива същите доказателства в решения за преподаватели, а Ограничения в изследванията за AI в образованието е честният разказ за това какво тази литература все още не може да ти каже. Ако въпросът ти е станал въпрос за оценяването, Намаляване на измамите с AI е следващата страница.