База знань AIEdAIEd KB
На цій сторінці

Усі випуски

Щотижневе оновлення досліджень про ШІ в освіті #1

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Щотижневий огляд від бази знань про ШІ в освіті про те, що дослідження, опубліковані минулого тижня, означають для викладачів, розробників, дослідників і адміністраторів.

Цього тижня додано 71 нове дослідження і два нові ресурси, тож база знань тепер містить 1 805 анотацій статей, 220 сторінок понять, 37 запитань і відповідей і 33 ресурси. Скористайтеся пошуком або запитайте ШІ, щоб поговорити з базою знань.

Зміст

Головні акценти та питання

Обидва головні результати тижня кажуть те саме: оцінка — це не результат. Дослідження з трьома групами підняло оцінки за вправу з 29,85% із відкритим вебом до 71,84% із необмеженим ChatGPT, тоді як концептуальне навчання не відрізнялося взагалі, тож вища оцінка за доступу до ШІ не є доказом, що студенти навчилися більше. Тринадцять детекторів позначили рукописи, написані людьми, з частотою від 0% до 100% після однієї редакторської правки, тож позначка детектора не є доказом порушення.

Для викладачів

Репетитор може підняти домашнє завдання й залишити іспит на тому самому рівні

Чень і колеги рандомізували 153 студентів Карнегі-Меллона, які писали доведення, на раннього або пізнього репетитора з доведень, а потім виміряли іспит, складений без ШІ в аудиторії. Оцінки за домашню роботу зросли на 2,56 бала, поки інструмент був доступний. Оцінки за проміжний іспит не відрізнялися. Коли доступ отримали всі й обирали власну дозу, кожні 100 додаткових повідомлень у чаті супроводжувалися на 3,02 бала нижчою оцінкою на наступному іспиті, і найбільше користувалися ним студенти з нижчою вихідною самоефективністю.

Що це змінює для вас: оцінка, отримана з відкритим репетитором, не є доказом того, що студент здатен зробити без нього, тож саме завдання без підтримки має нести цю вагу. Це також означає, що студенти, найбільш схильні спертися на нього, — ті, хто найменше впевнений на старті, і це видно у використанні раніше, ніж в оцінках.

Необмежений чат завищує оцінки сильніше, ніж добре збудований репетитор

У дослідженні з трьома групами на курсі CS1 у Мюнхені 275 студентів провели 90 хвилин над завданням із Java із репетитором, який давав підказки, із необмеженим ChatGPT або з відкритим вебом. Оцінки за вправу становили 71,84%, 57,50% і 29,85%. Приріст концептуальних знань — 0,83, 0,71 і 0,85 бала, і різниця між умовами була далекою від значущої (p = 0,773). Обидві умови зі ШІ знижували фрустрацію; лише репетитор підвищив мотивацію.

Розкид оцінок стосується переважно артефакту, а не навчання. Якщо ви оцінюєте вправу, умови зі ШІ оцінюються за іншим завданням.

Чатботи, створені викладачами, провалюються в намірі, а не у фактах

EduWild зібрав 1 726 розмов із 217 ботів Playlab, налаштованих викладачами, зокрема 900 розмов зі студентами, для яких їх розгорнули. Боти пропускали обов'язкові кроки робочого процесу в 53,8% розмов із кінцевими користувачами, жодного разу не встановлювали свою роль у 33,4% і перевантажували учнів інформацією або запитаннями в 37,1%.

Перш ніж розгортати бота, якого ви створили чи успадкували, прочитайте його першу репліку й перевірте, чи він каже, чим є і що буде далі. Описані тут збої — в інструкціях, і їх можна виправити в запиті, не торкаючись моделі.

Вердикт детектора не є доказом

Набір даних сервісу редагування дав Паку та колегам 135 389 пар документів, у яких автор, тема й зміст зафіксовані, а змінюється лише мова. Серед 13 детекторів хибнопозитивні результати на академічних текстах, написаних людьми, коливалися від 0% до 100%, а ті самі правки рухали детектори в протилежних напрямах. Окремо група викладачів-погодинників втратила свій детектор повністю, бо він позначав перевірку граматики, і тепер вони шукають вигадані посилання та відірваність від матеріалів курсу.

Якщо ви показували студентові оцінку детектора, особливо студентові, який пише другою мовою, цей тиждень — час припинити використовувати детектори. Сигнали на основі читання з другого дослідження — практична альтернатива.

Дизайн оцінювання — це вибір серед трьох обмежень, а не пошук принципу

Педлоу, Фішер і Вільямс стверджують, що проблема не в браку принципів дизайну, а у відсутності способу міркувати про ті, що тягнуть у різні боки. Їхня подвійна трилема розглядає автентичність, спостережуваність і здійсненність в оцінюванні та конкретність, своєчасність і робоче навантаження у зворотному зв'язку як обмеження, якими ви свідомо торгуєтеся.

Коли вас просять перепроєктувати оцінювання для ШІ, ця рамка перетворює відкрите питання на коротку аргументацію, яку можна зафіксувати й захистити.

Приріст говоріння від чатботів нерівномірний за ознаками

Соріано-Гонсалес і Белда-Медіна відсіяли 306 записів до десяти досліджень і запитали, які з шести ознак усного мовлення CEFR справді зрушили. Діапазон і зрозумілість покращилися в чотирьох дослідженнях кожна, зв'язність — в одному, взаємодія — майже ніде. Чотири з десяти повідомили єдину цілісну оцінку, тож їхній приріст взагалі не можна простежити до ознаки.

Заява постачальника про «покращене говоріння» сумісна зі зміною, яку дослідження не вимірювало. Щодо аудіювання, Го та Ар'ядуст вважають докази значно слабшими.

Грамотність щодо зворотного зв'язку та залученість підживлюють одна одну

Панель із трьох хвиль за участю 399 студентів бакалаврату виявила, що грамотність щодо зворотного зв'язку від ШІ передбачає пізнішу агентну залученість (β = 0,222), а зворотний шлях такий самий сильний (β = 0,263), без статистичних підстав упорядковувати ці два напрями.

Навчання студентів читати й використовувати зворотний зв'язок не є передумовою, яку завершують до початку залученості. Ці два рухаються разом, тож курс, який розвиває лише одне з них, працює проти себе.

Для розробників

Складні випадки — там, де репетитори досі провалюються, а пошук стратегій допомагає моделям середнього рівня

TutorCaseBench перетворив якісні кейс-дослідження на 923 шестиходові діалоги п'яти типів складних ситуацій і оцінив 11 моделей за рубриками, специфічними для кейсів. Найкраща модель задовольнила задокументоване втручання в 55,8% відкритих кейсів — це число, під яке варто проєктувати. Надання задокументованої стратегії з літератури кейсів підняло 10 із 11 моделей у середньому на 9,9 бала, причому Llama 4 Maverick піднялася з 41,0% до 64,8%, а найсильніша модель залишилася на 71,3%.

Пошук довідкових стратегій варто будувати для моделей, які ви можете собі дозволити. Він не врятує фронтирну модель, яка вже має цей патерн.

Перевіряйте на розгорнутих розмовах, а не на лабораторних запитах

Набір даних EduWild зіставляє кожну розмову з системним запитом і налаштуваннями за нею, і саме це робить збій аналізованим: 53,8% розмов із кінцевими користувачами пропустили обов'язковий крок. Конфігурація, написана викладачем, — окрема поверхня збоїв, відмінна від спроможності моделі, і тестовий стенд на рівні запиту відновив намір, не забираючи контролю у викладача.

Якщо ваш продукт дозволяє викладачам писати інструкції, ваш тестовий набір має складатися з їхніх інструкцій, зібраних після розгортання.

Вимір рубрики в якості зворотного зв'язку — той, якого ніхто не вимірює

Ян дослідив 68 досліджень зворотного зв'язку, згенерованого ШІ. Валідність доказів з'являється в 47 із них, педагогічна корисність — у 58, а відповідність рубриці та завданню — у 19. Відповідність — це вимір, який продукт може контролювати найбезпосередніше, і він досліджений найменше.

Це можливість: будуйте під рубрику, яку завдання вже використовує, і кажіть про це, бо опубліковані докази не скажуть покупцям, чи робить так хтось інший.

Придатність до дії — це ціль дизайну, а не приємний бонус

Тамме, Шиллінг і Хантель пропонують замінити письмове опитування наприкінці семестру телефонною співбесідою, яку проводить агент ШІ, аргументуючи це тим, що письмовий інструмент провалюється за часткою відповідей, глибиною та придатністю до дії. Це пропозиція, а не польове випробування. Твердження про дизайн достатньо конкретні, щоб їх позичити: ставте уточнювальні запитання, вимагайте обґрунтування, повертайте те, з чим отримувач може щось зробити.

Для дослідників

Самозвіт і результативність часто приводять до різних висновків

Фан і колеги відобразили методи вимірювання в 2 099 записах, а потім дослідили 51 випадок, де інструмент самозвіту і тест, оцінка чи трасування вимірювали той самий конструкт. Відповідь на питання, чи ці два узгоджуються, часто — ні. Там, де вони розходяться, спостережуваність конструкту пояснює це краще, ніж якість дослідження.

Заміна одного одним — це рішення про вимірювання з певним напрямом, а не зручність. Повідомляйте, на чому саме тримається ваше твердження.

Артефакти приховують розвантаження, тож вимірюйте процес

Конторович і Валлах закодували 429 запитів у 59 журналах чатів як трасування саморегуляції і зіставили кожен із зданою роботою. Десять із п'ятнадцяти студентів, які виконали всі три завдання, змінювали роль, яку давали моделі, коли змінювалося завдання, але 53 із 59 зданих робіт відтворювали продукт моделі або переробляли його лише за формою.

Сама здана робота не може відрізнити використання від заміщення. Дані про процес можуть, і схема кодування тут придатна для повторного використання.

Валідизована шкала залежності у відкритих завданнях

Більшість вимірювань залежності виводять її з того, чи студент дослухався правильної поради, що потребує перевірюваної відповіді. Хоу та колеги створили й валідизували шкалу з 16 пунктів для проблемно-орієнтованого навчання, де такої відповіді не існує.

Еталони для детекторів старіють, тож повідомляйте про суперника

Рен, Рагаван і Гарг розділяють питання виявлення на відокремлюваність і рух. Керовані базові моделі майже ідеально відрізняють людський текст від машинного в межах розподілу, тоді як комерційний детектор Pangram опустився до 63,5% збалансованої точності та 27% повноти проти запиту, написаного, щоб його обійти.

Числа, повідомлені без спроби обходу, описують світ, якого вже немає. А оглядова література слабка там, де це важливо: із 51 дослідження зворотного зв'язку GenAI у письмі другою мовою 5 перевіряють, чи точний цей зворотний зв'язок.

Для адміністраторів

Більшість урядування ШІ в освіті — це настанови, а не закон

Ельмахджуб і колеги уважно прочитали 160 англомовних документів урядування із 498 записів. Лише 4 мають формальну юридичну або регуляторну форму, тоді як 92 — це настанови, рамки, набори інструментів чи посібники. Підзвітність з'являється в 146 документах, але поєднана з названим суб'єктом нагляду лише в 100.

Політика без названого власника й механізму — це заява про намір. Огляд дає вам поля, за якими можна перевірити власний документ.

Для закупівлі детекторів потрібне число хибнопозитивних спрацювань

Тринадцять детекторів, контроль — академічні тексти, написані людьми, хибнопозитивні результати від 0% до 100%. Принаймні один заклад уже відмовився від свого детектора, бо той позначав перевірку граматики. Якщо постачальник не дасть вам частку хибнопозитивних результатів на людських роботах у вашій дисципліні, ви не можете оцінити дисциплінарний ризик.

Задокументований напрям в оцінюванні — процес, автентичність та усна робота

Кромптон і Берк оглядають 72 дослідження з 24 країн і 20 дисциплін і знаходять три повторювані відповіді в дизайні: орієнтоване на процес, автентичне та усне оцінювання. Доказова база широка й методологічно слабка, більшість досліджень охоплюють один курс, і ніщо з цього не змінює напряму.

У викладачів упровадження випередило розуміння

Серед 132 викладачів K-12 в Індонезії 96,2% підтримують використання ШІ викладачами, а 84,6% — студентами, проте 69,2% дали нечітке або хибне пояснення того, що чатбот робить з інструкцією.

Підтримка в опитуванні не є спроможністю в аудиторії. Розрив у професійному розвитку тут проявляється раніше за будь-яке розгортання інструмента, а сам інструмент достатньо короткий, щоб використати його повторно як оцінку потреб.

Замінюйте опитування курсу, лише якщо заміна придатна до дії

Пропозиція голосової співбесіди націлена на ті режими збою, які роблять опитування наприкінці семестру марними: частка відповідей, глибина, задовільнення мінімумом і відповіді, з якими нікому нічого робити. Ставтеся до неї як до специфікації для того, що ви використаєте натомість, а не як до доказу, що версія зі ШІ працює.

Концепція у фокусі

Чотири сторінки понять понесли висновки цього тижня до шару синтезу. Кожна — це постійна сторінка, а не одноразова, тож нові докази лягають поруч із тим, що сторінка вже стверджувала.

Вивчення мов

Сторінка тепер прямо каже, що докази про приріст говоріння з чатботами нерівномірні за ознаками і що чотири з десяти синтезованих досліджень повідомили одну цілісну оцінку, тому їхній приріст не можна приписати ознаці. Прочитайте сторінку про вивчення мов, перш ніж купувати чи будувати усну практику.

Інтелектуальне репетиторство

Її новий висновок — результат пошуку: надання довідкових стратегій піднімає слабких репетиторів і залишає сильних там, де вони були. Це рішення про розробку, і сторінка про інтелектуальне репетиторство відокремлює його від давніших тверджень про якість підказок.

Самозвітні вимірювання

Найгостріший новий випадок розриву самозвіту — намір, де одна оцінка охоплювала орієнтоване на навчання, орієнтоване на обхідні шляхи та змішане використання в одній і тій самій вибірці з 340 студентів, із 68 повторно застосованими пунктами та вісьмома інтерв'ю за цим твердженням, усе це записано на сторінці про самозвітні вимірювання.

Урядування

Сторінка тепер починається з висновку про форму інструментів: 4 зі 160 документів є обов'язковими, 92 — дорадчими, а підзвітність названа як суб'єкт лише в 100. Сторінка про урядування переформульовує питання з того, що політика каже, на те, чи може вона діяти.

Нові ресурси

Два ресурси приєдналися до бібліотеки ресурсів цього тижня: один написаний для закладу, який має вирішити, як розробляти програмне забезпечення зі ШІ, а другий — для викладача, який має вирішити, чи код студента належить студентові.

Campus AI Development

Campus AI Development — безкоштовний вебпосібник, написаний з боку закладу. Він описує способи, якими кампус може замовити розробку програмного забезпечення зі ШІ, від віб-кодування до керованої роботи кількох агентів, і до кожного способу додає відповідний шлях перегляду, межу даних і засоби контролю. Він супроводжує Campus AI Framework, який вирішує, чи взагалі можна використовувати інструмент ШІ; цей посібник охоплює те, що робити, коли відповідь — так. Сайт не публікує ліцензії на свій текст.

Code Viva

Code Viva — безкоштовний браузерний інструмент, який робить усний захист масштабованим: письмовий, обмежений у часі захист для кожного студента курсу програмування, по п'ятнадцять-двадцять хвилин, без викладача в аудиторії. Він читає зданий код студента та історію комітів, пише чотири-шість запитань про власні функції, назви й коміти цього студента і дає кожному студентові персональне посилання для відповіді. Запитання походять із правил, застосованих до зданої роботи, а не з виклику моделі, і викладач отримує запропоновані оцінки з цитованими доказами за кожною, щоб затвердити або перевизначити. Сайт не публікує ні ліцензії, ні репозиторію з кодом.

Також додано цього тижня

Інші дослідження, з методами й анотаціями, перелічені за днями на сторінці журналу.

Примітки про сайт

Цього тижня з'явилися дві сторінки. Архів новин містить кожен випуск, а поруч із ним є власна стрічка і стрічка бази знань; покажчик понять збирає всі 220 сторінок понять на одній сторінці, у тих самих розділах, що й бічна панель, тож тепер є куди скерувати читача, який хоче весь набір.

Усе інше було роботою над тим, що вже існувало: сторінки понять і запитання переписані, текст ущільнений, а переклади оновлені в усіх мовних версіях.

Сайт — це статична збірка, а його вміст, код та інструменти публічні на github.com/edtechdev/aied, де можна прочитати кожну описану вище зміну.

Стежте за оновленнями

Отримуйте кожен випуск через стрічку новин у програмі для читання стрічок, вставивши ту саму стрічку в Blogtrottr, щоб нові випуски надходили електронною поштою за обраним вами графіком, або стежте за нею в LinkedIn, де кожен випуск публікується як стрічка LinkedIn.

Щотижневе оновлення досліджень про ШІ в освіті виходить із бази знань про ШІ в освіті, яку генерує агент ШІ. Цей випуск підготував той самий агент ШІ за редакційними вказівками розробника сайту, і кожне твердження вище посилається на сторінку, з якої воно походить.

База знань присвячена суспільному надбанню за ліцензією CC0 1.0. Усі права відсутні.

Знайшли проблему вмісту? Повідомте про неї на GitHub або зв'яжіться з розробником сайту, Doug Holton.

ДжерелоІсторіяРедагуватиЧат

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.