Какви мерки и изследователски методи може да използва преподавателят, за да оценява интервенции, свързани с AI?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Провел си пилотния проект в две групи, събрал си анкета в края на модула и след три седмици имаш заседание на факултета, на което някой ще попита дали е проработило. Или рецензент е попитал какво е било условието ти за сравнение, а другата група е правила нещо различно. Както и да е: какво би се броило за доказателство тук?

Свържи метода с твърдението. Анкетата ти казва дали студентите са харесали дейността. Дали са се научили изисква мярка за представянето, а дали AI е причинил печалбата изисква условие за сравнение.

Накратко

1. Напиши твърдението в едно изречение, с назван резултат. „Студентите, които използваха преподавателя, получиха по-висок резултат на изпита без помощ“ е проверимо.

2. Направи базова линия, интервенцията, непосредствена мярка след нея и по-късна мярка, взета без AI.

3. Опиши условието за сравнение толкова внимателно, колкото третирането, дори когато то е съществуващата ти практика.

4. Измервай представянето с помощ и самостоятелното учене отделно и третирай всяка публикувана средна стойност като хипотеза за твоя клас.

Избери метода, който въпросът ти може да издържи

Страницата Изследователски методи в AIED излага какво дава всяка опция. Рандомизираните експерименти дават най-силно причинно заключение. Квазиексперименталните дизайни преди/след или с изравнени групи пасват на цели класове и подкрепят по-слаби твърдения. Качествените интервюта, фокус групи, наблюдения и анализ на артефакти разкриват механизми и неочаквано преживяване. Смесените методи свързват доказателство за резултата с обяснение. Изследването, основано на дизайн пасва на преподавател, който усъвършенства интервенция през итерации.

Качественият анализ с помощта на AI принадлежи на този списък с едно условие. Той реорганизира корпус от интервюта за минути, затова обосноваемостта има значение колкото точността: документирай реорганизациите, които позволяват на читателя да прегледа, оспори и преработи пътя от данните до твърдението.

Анкетата е мярка за самоотчет: подходяща за нагласи, неподходяща за учене.

Дай име на условието за сравнение

Три условия правят едно причинно твърдение интерпретируемо: точно описано третиране, добре дефинирано условие за сравнение и валидна мярка за трайно учене. Weidlich и др. (2025) одитират 19 сравнения на ChatGPT в образованието срещу тези критерии. Четири (21%) удовлетворяват и трите. Третирането е добре дефинирано в 74%, контролната група в 42%, а резултатът се квалифицира като учене в 53%.

Режимът на провал лесно се възпроизвежда. Инструмент за обща употреба, въведен заедно с нови дейности, нова обратна връзка или преработен интерфейс, смесва медиума с метода и значимият резултат принадлежи на преработката.

Измервай резултатите, които наистина те интересуват

Синтезът за оценяване на AI в образованието препоръчва печалба в ученето без помощ, задържане след забавяне, пренос към нова задача, качество на разсъждението, погрешни схващания, възприемане на обратната връзка и представяне на подгрупи. Ангажираността, удовлетвореността, дневниците за използване на AI, самоефикасността и възприеманата полезност са разумни вторични мерки и лоши заместители на ученето. Натоварването и спестеното време се броят като резултати от внедряването, което е друг въпрос.

Минимумът в мащаба на един клас е базова линия, интервенцията, непосредствена мярка след нея и по-късна мярка без помощ. Добави условие за сравнение, където можеш: съществуваща практика, без AI, неограничен AI срещу AI със скафолдинг или два алтернативни дизайна. Оценявай представянето с помощ и без помощ с отделни инструменти, тъй като една рубрика ще ги смеси.

Чети всяко число като хипотеза

Среден ефект от литературата е слаб ориентир за една класна стая. Одитът на O'Neill (2026) върху 14 метаанализа с голямо влияние намира, че нито един не предоставя валидна основа за твърденията си. Обединеното „академично постижение“ смесваше тестови резултати, мотивация, самоефикасност и нагласи в една оценка. Хетерогенността беше крайна: I² варираше от 77,2% до 94,4% в 13-те анализа, които я съобщават, а 12 от тях стояха над 80%. Всичките 14 оценяваха публикационната пристрастност невалидно, а 61% от случайно проверените първични изследвания имаха проблеми с валидността. Четири анализа съобщаваха вариация между изследванията, два съобщаваха интервал на предсказване, и двата интервала включваха нула.

Удобният показател може да измерва грешния конструкт. В оценка на осем AI агента за преподаване агентът, класиран трети по собствения показател на платформата, се класира последен по валидирана от експерти рубрика, защото показателите на платформата индексираха представянето на студента по време на взаимодействието. Третирай показателя на таблото като хипотеза.

Какво преподавателите разбират погрешно

Анкетата за удовлетвореност измерва ученето. Тя измерва удовлетвореност, която синтезът за оценяване на AI в образованието изброява като вторична мярка редом с резултатите от ученето.

Печалбата преди/след показва, че интервенцията е проработила. Тя показва, че оценките са се покачили. Дали мярката се брои за учене е отделен въпрос, а одитът намира квалифициращ резултат за учене в 53% от прегледаните сравнения.

Публикуваните размери на ефекта се пренасят в моя клас. 14-те метаанализа на O'Neill не можеха да подкрепят твърденията, изградени върху тях, и двата съобщени интервала на предсказване включваха нула.

Аналитиката на платформата измерва качеството на преподаването. Третият по ранг агент на Zhang беше последен по експертната рубрика.

Какво ще ти се върне

„Вече имаме оценки в края на курса.“ Те измерват курса и се провеждат след семестъра, в който ти е трябвал отговорът.

„Група за сравнение е невъзможна в цял курс.“ Сравни с миналогодишната версия на същото задание или с втора група и опиши разликата честно. Квазиексперименталните дизайни са по-слаби и все пак информативни, когато алтернативата е твърдение без сравнение.

„Размерът на ефекта в метаанализа е голям.“ По кой резултат, в чий клас? И двата интервала на предсказване, които O'Neill намира, включваха нула.

„Таблото ни показва силна ангажираност.“ Ангажираността е вторична мярка в списъка за оценяване на AI в образованието. Сложи мярката за учене без помощ до нея.

Какво да направиш тази седмица

1. Напиши твърдението си като едно изречение и подчертай резултата.

2. Добави по-късната мярка без помощ в календара, след интервенцията, а не в същата седмица.

3. Напиши един абзац, който описва условието за сравнение, със същата подробност като третирането.

4. Извади числата от платформата, които вече имаш, и отбележи всяко като резултат от артефакт или като резултат за учене.

5. Помоли един колега да прочете дизайна и да каже какво друго се е променило през семестъра.

Накъде след това

Помага ли AI на студентите да се учат? обобщава какво показват доказателствата за резултатите, а Празнини в изследванията на AIED покрива къде те оредяват. Как да разберем дали един образователен AI работи правилно? е версията на този въпрос за хората, които изграждат или купуват система.