Какви са доказателствата за интервенции за AI грамотност във висшето образование?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Кабинетът на провоста иска резултат за AI грамотност във всяка бакалавърска програма до следващата есен, а планът на масата е двучасов семинар плюс библиотечен обучителен модул. Или грант е финансирал „AI грамотност“ в институцията ти и първата среща на комисията е за това с какво да се похарчи. Някой в стаята ще попита какво ще могат студентите след това, а решаващ е аргументът за дизайна.

Отговорът за тази стая и състоянието на доказателствата във висшето образование е следният: грамотността расте, когато студентите критикуват продукт на AI вътре в истинска дисциплинарна задача, многократно, с връстници, и расте най-малко, когато им се показва какво прави инструментът. Средният ефект в литературата за интервенции е голям; разсейването около този среден е още по-широко, така че дизайнът ти решава повече от темата ти. Анкетите за увереност измерват приемане. Ако искаш да твърдиш грамотност, тествай представяне.

Накратко

1. Сложи грамотността в курс, който студентите вече взимат, върху работа, за която вече получават оценка.

2. Накарай ги да се ангажират със собствен отговор, преди да видят този на модела.

3. Оценявай критиката с рубриката, която вече използваш за задачата.

4. Проведи го повече от веднъж през семестъра.

5. Брои задача за представяне като своето доказателство и дръж напредъка в увереността като отделен ред.

Изгради последователността около критика

Най-силният пример от класната стая в базата знания идва от бакалавърската психология. Richmond и Nicholls карат студентите да оценят генериран от ChatGPT пресъобщение за медиите по собствената си курсова рубрика, да назовàт грешките и да го преработят. Студентите като цяло виждат, че прозата е излъскана, а съдържанието изопачава изследователските цели, методи и находки. В сравнение с предишната група по взаимно оценяване групата с критика на AI се представя скромно по-добре при последвалата преработка на сценария (d = 0,36), без значимо предимство при крайното видео (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Литературата, от която идват тези примери, разчита на кратки интервенции, самоотчет и работа, основана на дизайн, и това изследване носи две от тези ограничения. Сравнението е историческо, така че по-добре подготвена група би дала същия модел. Предимството се появява и при междинния артефакт и изчезва при завършения, което е точно каквото би очаквал, ако критиката е научила на преработване.

Beck и Brodersen вграждат същия ход в курс по икономика: студентите решават или тълкуват автентичен проблем сами, после получават отговора на ChatGPT, сравняват двете, критикуват AI, осмислят и обсъждат с връстници. Дизайнът им сгъва AI грамотността в рутини за активно учене, които курсът вече провежда, като „помисли, обсъди в двойка, сподели“. Приносът му е преносим учебен дизайн, подкрепен от използване в клас, а не от експеримент (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Сложи го в курс, който студентите вече взимат

Систематичният преглед на Hingle и Johri подрежда дейностите за AI грамотност с рамката ICAP: пасивно излагане, активно боравене, конструктивно създаване и интерактивно съвместно изграждане. Интервенции се появяват и в четирите режима, а прегледът спори срещу свеждането на AI грамотността до еднопосочна информационна сесия (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Практиките, които той подкрепя, са тези, които можеш да вградиш в задача: студентите създават, критикуват, обясняват и обсъждат продукти на AI с връстници.

Континуумът за AI грамотност на NC State описва прогресия от още неангажирани и некритично използване през информирано използване, критична оценка и подобряване и е приложен с над 330 участници в курсове и семинари (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Наблюденията му подсказват разделение: кратките преживявания придвижват студентите към информирано използване, докато критичната оценка и подобряването се появяват главно при продължителна работа, вградена в дисциплината. Няма валидирана мярка преди и след, нито контролна група, така че това са доказателства от практиката.

Обучението на учители показва същия таван от друг ъгъл. Интервенцията на Le et al., основана на дизайн, е пилотирана с 14 студенти от магистърска програма и оценена с 29 студенти по педагогическо образование. Съобщената самоефективност за AI компетентност расте и студентите се изместват към по-критично педагогическо отношение към GenAI, докато напредъкът по етика достига само маргинална значимост. Малко изследване, основано на дизайн, с такава форма не може да установи компетентност (Development and evaluation of artificial intelligence literacy training for teacher education students).

Измервай какво могат студентите

Тристепенен метаанализ на 59 изследвания (172 размера на ефекта, 7 211 участници) дава най-ясната налична количествена оценка: голям общ ефект (g = 0,837, p < 0,001). 95% прогнозен интервал върви от -0,292 до 1,966 и това е числото, което да цитираш, когато някой пита дали интервенцията ще работи в твоята програма. Два модератора бяха значими. Интервенциите в Източна Азия и Европа се представиха по-добре от тези в Северна Америка, а интервенциите, насочени към знание, се представиха по-добре от тези, насочени към умения, нагласи или етика. По-големи, но незначими ефекти се появиха при смесени или рефлексивни педагогики, инструменти, подкрепени от GenAI, и резултати от задачи за представяне.

Авторите четат собствения си резултат като аргумент за придвижване отвъд знанието към умения, практики, етика и нагласи, чрез интегрирана рефлексивна педагогика и културно релевантен дизайн. За комисията две следствия вършат работата. Резултатът, който измерваш, оформя ефекта, който намираш, така че избери резултата, който наистина те интересува. Прогнозен интервал толкова широк е аргумент за местен пилот.

Измерването е мястото, където повечето програмни твърдения се провалят. Валидираният тест за представяне GLAT предсказва представянето при задача във висшето образование, изпълнявана с AI. Самоотчетната мярка за грамотност по ChatGPT не успя (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). В цялата база знания съобщената и демонстрираната AI компетентност се разминават съществено, което прави образователното измерване и валидността на оценяването част от дизайна, а не нещо, за което се сещаш по-късно в оценяването.

Burriss et al. изострят какво се брои. Изследването им с 22 ученици от единадесети клас, които създават видео социални реклами за етиката на AI, твърди, че съществуващите скали за грамотност и рамки за компетентност предполагат индивидуално измеримо представяне, което изключва съвместното и творческото изразяване. Те предлагат студентски размисли, мултимодални артефакти и граждански дискурс като допълнение към конвенционалните мерки. Техните ученици развиват критично разбиране за етиката на AI чрез съвместна критична педагогика, а това оспорва схващането за грамотността като списък от умения, заедно с инструментите, изградени върху него. Петнадесет от 18 отговора в края на модула потвърждават ново учене, а авторите отбелязват, че проектът се съпротивлява на традиционното сумативно оценяване ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Мерките за приемане са отделен капан. Wang, Chuang и Wu анкетират 831 тайвански ученици и учители от училищното образование след около 30 минути с наръчник за AI грамотност, разделен по възраст, и намират стабилна четирифакторна структура на приемане. Възприеманата игривост е най-силната корелация с поведенческото намерение. Изследването измерва краткосрочно приемане, а не напредък в ученето, етична компетентност или реално използване, и авторите заявяват, че конструктивните за приемане „не бива да се използват за извеждане на ефективността на ученето или успеха на прилагането“ (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Планирай грешките, които обучението няма да поправи

Обучението на студентите да подканват или да използват AI по-добре не ги прави надеждно критични ползватели. В експеримента за контекстуална сервилност обучението по AI грамотност и по подканване намалява колко често моделът отразява грешките в разсъждението на участниците, а разпространението на грешката надолу по веригата оцелява след обучението (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Чети това като граница на това, което един курс може да обещае. Образованието по грамотност не може да носи цялата тежест за безопасността, а програма, която твърди, че ще го направи, е преместила риска, вместо да го премахне. Дизайнът на инструментите и системните предпазни мерки остават в плана.

Започни оттам, където студентите ти вече са

Şan и Orhan Karsak използват психолингвистичен тест за словесни асоциации с 436 турски студенти (1 376 кодирани отговора, κ между оценителите = 0,87), за да картографират как студентите представят AI. Асоциациите се групират около инструменталната полезност, с господство на удобството (f = 145) и скоростта (f = 110). Прозрачността на алгоритмите, личните данни и понятията за управление са редки и структурно изолирани от този клъстер на полезността (τ на Kendall = -0,819). Аргументът им следва: модул по етика, доставен в когнитивна структура без схема, която да го приеме, вероятно ще се провали. Учебните програми се нуждаят от изрични мостове от всекидневното познаване на инструментите към етичните рамки и рамките за управление, а микросвидетелствата трябва да подредят съдържанието така, че да затворят тази пропаст, вместо да повтарят онова, което студентите вече знаят (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

Ситуиран разказ идва от седемте фокус групи на Dai и Chan с 28 докторанти, които използват AI неравномерно в изследователския процес. Използването е по-тежко при процедурна работа с ниски залози, като форматиране, превод и обяснение, и заметно по-предпазливо там, където на карта е научният принос. Участниците сами теглят границите си между подпомагане и заместване на разсъждението им. Авторите третират AI грамотността като ситуирана способност, а не като статичен списък от компетентности, и препоръчват скафолдинг на всяко измерение върху реални задачи, вместо налагане на двоични правила (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Провери документа, преди да го издадеш

Сертификатите и микросвидетелствата са мястото, където AI грамотността се доставя в мащаб и където оценяването е най-тънко. Wu и Li изграждат експертно претеглена система от индикатори (AHP и Fuzzy-AHP с проверки по Монте Карло, 18 експерти) за програми за сертификати по AI. Професионалната компетентност на преподавателите показва най-голямата разлика между важност и удовлетвореност, с висока възприемана важност (0,1976) при ниска текуща удовлетвореност. Данните им поставят способността на преподавателите пред технологичната инфраструктура като основно ограничение пред педагогическата промяна. Междукултурната адаптивност получава най-ниска стратегическа тежест (0,0735), което те четат като пристрастие към технологията в ранното сертифициране (Evaluation Indicator System for AI Certificate Programs).

Въпросът, който следва, е този, който да зададеш на собствената си програма: сертификатът удостоверява ли трайна грамотност, или записва присъствие? И хората, които го преподават, оборудвани ли са да преценяват?

Какво тази аудитория разбира погрешно

Семинарът е учебна програма. Наблюденията на Континуума поставят критичната оценка и подобряването в продължителна работа, вградена в дисциплината, а Le et al. придвижват самоефективността, без да установят компетентност.

Увереността е заместител на грамотността. Резултатът от GLAT е пряк: тест за представяне предсказа представянето при задача, а самоотчетната мярка не.

Големият среден ефект означава, че програмата ще работи тук. С прогнозен интервал от -0,292 до 1,966 средният описва полето; твоята група стои някъде в този диапазон.

Обучението по грамотност прави студентите безопасни ползватели. В експеримента със сервилността обучението намали отразяването и остави разпространението на грешката непокътнато.

Грамотността е едно умение, което се пренася между инструменти. Dai и Chan намериха изследователи, които теглят различни граници в различни части от един и същ процес.

Какво ще ти се върне

„Няма място в учебната програма.“ Добави критиката към задача, която вече оценяваш, както Beck и Brodersen я сгънаха в съществуващите рутини за активно учене. Отделен курс струва повече и учи на същото.

„Нашите студенти израснаха с тази технология.“ Познаването на инструмента е точно това, което Şan и Orhan Karsak измериха: удобство и скорост, с структурно отделени лични данни и управление. Свободното боравене с нещо не е разбиране на него.

„Просто ни дай размера на ефекта.“ g = 0,837, p < 0,001, от 59 изследвания, с 95% прогнозен интервал от -0,292 до 1,966. Второто число е това, което управлява решението ти.

„Ще анкетираме студентите в края на семестъра.“ Тогава ще си измерил приемане. Wang et al. казват изрично какво не може да подкрепи то, върху извадка от 831.

„Сертификатът е механизмът за отчетност.“ Wu и Li установиха, че компетентността на преподавателите е обвързващото ограничение, а междукултурната адаптивност е с най-ниска тежест. Сертификатът записва, че някой е завършил нещо.

„Нашите преподаватели не са готови да преподават това.“ Доказателствата са съгласни. Способността на преподавателите беше най-голямата пропаст в данните на Wu и Li, а нито едно изследване на тази страница не тества как да се затвори тя.

Какво да направиш тази седмица

1. Избери една оценявана задача и добави стъпка, в която студентите създават собствен отговор, преди да се консултират с AI.

2. Напиши подканването за критика по съществуващата си рубрика, така че студентите да оценяват продукта по стандарта, който вече използваш.

3. Насрочи втори пуск на същата дейност по-късно в семестъра, в същия курс.

4. Замени един въпрос за увереност в края на семестъра с кратък елемент за представяне и го оцени.

5. Питай този, който отговаря за микросвидетелството ти, какво доказателство за компетентност ще приеме, и вземи отговора писмено.

Накъде след това

Как да включа AI грамотността в курса си? отвежда въпроса за дизайна в планирането на курса. AI грамотност държи понятието и дебата за измерването му, а страницата за изследователските пропуски покрива къде тази литература все още е тънка.