База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Засоби самооповідання

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Засоби самооповідання — інструменти, у яких досліджувана особа водночас є джерелом даних: анкети та обстеження, інтерв’ю, щоденники, самооцінена компетентність, самооцінена частота використання, відчутне навчання та задоволеність. Вони є робочою конячкою досліджень ШІ в освіті — у цій базі знань 139 сторінок статей мають тег методу обстеження, більше, ніж будь-який інший метод, крім експерименту та Бенчмарк — і вони є єдиним практичним способом дійти до ставлень, вірувань, намірів та Самоефективність. Їхня межа є категориальною, а не статистичною: самооповідання не може виміряти поведінку чи навчання, лише те, що хтось говорить про поведінку чи навчання, і в цій дослідницькій базі ці два розходяться досить часто, щоб бути результатом самим по собі.

Питання для роздумів

  • Якщо дослідження стверджує, що студенти «повідомили про високу залученість», що саме було виміряно — і що вам потрібно було б побачити, щоб дійти висновку, що вони справді були залучені?
  • В одному дослідженні самооповідані та об’єктивні міри ШІ-грамотності викладачів корелювали лише на рівні r = 0,07 до r = 0,24 за чотирма вимірами. Де ваше власне Самооцінювання найімовірніше розійшлося б з тестом тієї ж навички, і чому?
  • Задоволеність легко виміряти і легко покращити — система, налаштована догоджати користувачам, отримає за неї високий бал. Чому це може робити задоволеність поганою мірою результату для навчання, і що ви вимірювали б замість неї?
  • «Майже всі студенти використовують ШІ для навчальних робіт» походить від опитування студентів. Що може піти неправильно в будь-якому напрямку, якщо питати, а не реєструвати логи?
  • Обстеження отримує 112 відповідей за частки відповідей 31%, або 90 відповідей із 572 запрошень. Перш ніж приймати його відсотки, що ви хочете знати про тих, хто не відповів?
  • Коли дослідження корелює дві самооповідані змінні, виміряні в один момент, скільки окремих пояснень ви можете породити для цієї кореляції — і який дизайн їх відкинув би?
  • Якби ви консультували когось із невеликого оцінювання, які твердження ви дозволили б підкріпити обстеженням, а які наполягали б підкріпити даними логів, продуктивності чи спостереження?

Вступ

Самооповідання охоплює набагато більше, ніж анкету. Воно включає поперечні обстеження з використанням шкал Лайкерта та інших форматів оцінювання, інтерв’ю та фокус-групи, які проводять якісні дослідники, щоденники та вибірку досвіду, самооцінену навичку чи впевненість, відтворені оцінки частого використання інструмента, а також відчутне навчання чи задоволеність, розглянуті як результати. Те, що їх об’єднує, — епістемічна позиція респондента: він повідомляє про себе, а не є об’єктом спостереження.

Це не слабкість, за яку треба вибачатися. Багато конструктів, що цікавлять — мотивація, тривожність, довіра, відчутна корисність, наміри залученості — є внутрішніми станами, які не записує жоден файл логу, і запитання — єдиний захистимий спосіб дійти до них. Проблема виникає, коли самооповідання використовується для підкріплення твердження, якого воно не може нести, а це в глибині питання валідності: чи вимірює інструмент конструкт, який називає, і чи твердження стосується того різновиду речей, які самооповідання може бачити. Це занепокоєння належить до Освітнє вимірювання та Валідність оцінювання; ця сторінка — про те, що відбувається, коли дослідження ШІ в освіті спирається конкретно на самооповідання, і де база доказів показує його розпад.

Як ця сторінка співвідноситься із сусідами. Методи досліджень в AIED каталогізує дизайни та їхні сильні та слабкі сторони, включно з обстеженнями та дослідженнями SEM. Кількісне дослідження охоплює родину чисельних методів. Освітнє вимірювання охоплює розробку інструментів, Теорія відгуку завдань та психометричну валідацію. Ця сторінка — вужчий зріз, на який ці сторінки вказують: сам інструмент вимірювання і джерело даних — що самооповідання може і не може встановити, повторюваний розрив між тим, що люди повідомляють, і тим, що вони роблять, і як критично читати результат самооповідання.

Що самооповідання може і не може встановити

Самооповідання добре пасує для ставлень, вірувань, намірів, сприйнять інструмента, афективних станів та самооціненої впевненості чи складності. Воно погано пасує для поведінки, і воно взагалі не може виміряти навчання: віра людини, що вона чомусь навчилася, сама є сприйняттям, і база знань розглядає відчутне навчання як відмінну величину від навчальних здобутків.

Наслідок — набір тверджень, які схожі в розділі результатів, але різняться силою:

  • «Студенти вважали тьютора корисним» — сприйняття, доречно виміряне запитанням.
  • «Студенти регулярно користувалися тьютором» — поведінка, яку запитання лише апроксимує.
  • «Студенти навчилися більше з тьютором» — результат, який запитанням узагалі не встановлюється.
  • «Викладачі впевнені у використанні ШІ» — самовірування, а не доказ компетентності.

Звідси два наслідки для кожного, хто читає або проєктує ці дослідження. По-перше, чи вимірює інструмент самооповідання взагалі названий конструкт, є емпіричним питанням, на яке відповідає валідація, а не правдоподібність пунктів. По-друге, напрямок спокуси в ШІ в освіті є узгодженим: інструменти оцінюються за тим, як користувачі про них почуваються, а почуття — саме та частина, яку самооповідання фіксує найдешевше. Самооцінювання є членом цієї ширшої родини, а не синонімом до неї: тоді як засоби самооповідання доходять до ставлень, довіри та задоволеності, самооцінювання спрямовує оцінку здобувача саме на власну навичку, впевненість чи навчання.

Другий режим відмови — дискримінантне злиття між двома конструктами самооповідання: регресія самооповіданої здатності до ШІ поряд з відчутним поведінковим контролем, виміряним як ефективність, може порівнювати один загальний фактор впевненості з самим собою, тому критерії фіксуються заздалегідь — співвідношення гетеротрейт–монотрейт нижче .85 і тест вкладеної моделі, що обмежує кореляцію здатність–контроль до одиниці (Mnguni (2026)).

Валідований інструмент може зробити цю межу точною, а не туманною. Анкета самооцінки ШІ-грамотності (AIL-SAQ) Thianwan and Srikoon (2025) — це 15-пунктова шкала, підтверджена стабільною трифакторною структурою на двох вибірках (n = 335 експлораторна, n = 579 конфірматорна) із загальним альфа-коефіцієнтом Кронбаха .934. Її автори явно зазначають, що вона фіксує відчутне розуміння, ставлення та обізнаність, а не продемонстровану навичку, і що точність самооцінки залежить від метакогнітивної здатності, яка в дітей ще дозріває, тому самооцінка дитини є слабшим сигналом, ніж дорослого.

Протилежний вибір також захистимий: PAUSE — це самотест офлоадингу за чотирма доменами, який не публікує жодних доказів надійності чи валідності, не пропонує композиту й заявляє, що його показники не мають обґрунтовувати жодного важливого рішення, а його пункти зливають свідомий скаффолдинг із заміщенням — респондент, який рано залучає ШІ для скаффолдингу, читається як офлоадинг (Alam, 2026)).

Розрив між сприйняттям і поведінкою

Найсильніший результат щодо самооповідання в цій базі знань — не те, що самооповідання загалом упереджене, а те, що повідомлена та спостережувана поведінка розходяться в конкретних, задокументованих способах.

Дослідження, яке побудувало паралельні міри самооповідання та об’єктивні міри ШІ-грамотності викладачів виявило слабку узгодженість між факторами самооповідання та об’єктивними факторами (r = 0,07 до r = 0,24) на вибірці 288 викладачів, із підтримкою конструктної валідності обох мір конфірматорним факторним аналізом, який водночас показав низьку кореляцію між факторами самооповідання та об’єктивними факторами. Обидва інструменти були достовірними; вони просто вимірювали різні речі. На повній вибірці 288 викладачів кореляції між об’єктивними та самооповіданими факторами коливалися від r = 0,07 до r = 0,24, і аналіз латентних профілів виявив 43 виклачів, які оцінили себе високо, набраваючи нижче за об’єктивною мірою, проти 59, які демонстрували зворотний патерн.

GLAT діходить того ж висновку з іншого боку: його 20-пунктовий тест на основі продуктивності прогнозував результати на навчальних завданнях із підтримкою GenAI у внутрішньосуб’єктному дослідженні 83 студентів, тоді як самооповідана грамотність щодо ChatGPT — ні. Формулювання авторів прямолінійне — інструменти в цій галузі переважно спираються на обстеження самооповідання, «які фіксують відчутну, а не фактичну компетентність і схильні до упередженості та переоцінки».

Оцінки поведінки показують те саме розділення. Масштабне дослідження конкурентного програмування повідомляє про розрив між самооповіданою впевненістю та фактичною поведінкою практики, де перша є поганим проксі для другої. Дослідження моделювання здобувача щире в тому, що частота використання була самооповідана за шкалою Never-to-Daily, а не спостережувана, і що коли предиктори та результати обидва самооповідані, стилі відповіді, такі як згода або упередженість крайнощів, могли породити ці асоціації.

Іноді запитання та спостереження ставлять віч-на-віч. Огляд області 46 категоризацій із 33 досліджень виявив літературу, поділену приблизно порівну між самооповіданням та даними логів взаємодії, і дійшов висновку, що категорії «часто відбивають підхід вимірювання так само, як саму взаємодію» — з дослідженнями самооповідання, що фіксують сприйняття та наміри, тоді як дослідження на логах фіксують спостережувану розмовну поведінку, і два рідко інтегруються. Робота з даними процесу щодо ШІ-грамотності робить конструктивну версію цього пункту: те, чи студент працює ітеративно з підказками, вдосконалює результат і керує галюцинаціями, спостерігається в логах взаємодії, а не в анкеті.

Структурований огляд 2026 року та експлораторна метааналіз мір для компетентного використання Генеративний ШІ дає зведене число на цей розрив з іншого боку: зведення трьох безпосередньо повідомлених кореляцій суб’єктивне–об’єктивне на одній і тій же вибірці (сумарне повідомлене N = 2 765) дало r = .055 (95% ДІ Hartung–Knapp [−.047, .156]), а додавання кореляцій міжфакторних четвертого дослідження дійшло лише до r = .079. Усі три первинні ефекти походили від однієї дослідницької програми, повідомлена кореляція та p-значення найбільшого вкладника не могли бути узгоджені, і огляд діходить висновку, що самооповідання не може заступати об’єктивні бали продуктивності — зауважуючи водночас, що самі інструменти продуктивності є вузькими, покриваючи базові знання, а не поведінку нагляду та залежності, яка важлива на роботі (Verí (2026)).

Літературу самих інструментів можна читати як доказ масштабу розриву. Zainal, Mohd Matore and Maat (2026) оцінили 33 інструменти для ШІ-грамотності викладачів і виявили, що 31 (93,9%) були шкалами самооповідання відчутної впевненості, лише два (6,1%) тестували знання об’єктивно, і жоден не використовував завдань на основі продуктивності між 2019 і 2025 роками. Їхній висновок — той, до якого ця сторінка діходить з інших напрямів: бали самооповідання індексують впевненість, а не здатність, тому вони не можуть заступати компетентність, коли порівнюються групи чи програми.

Міри результату успадковують той самий розрив. Pramod and Patil (2026) моделюють шлях від агенційного ШІ через мотивацію та соціальну присутність до того, що вони називають результатом навчання, з коефіцієнтом 0,671 — найсильнішим зв’язком у дослідженні — і їхній власний розділ обмежень заявляє, що ця залежна змінна відбиває сприйняття здобувачів, а не результати іспитів, продуктивність завдань чи аналітику навчання. Це той патерн, який треба ретельно читати в моделях шляхів загалом: великий коефіцієнт на відчутному результаті кількісно виражає, наскільки послідовно студенти вірять, що щось допомогло, і поки нічого не говорить про те, чи воно справді допомогло.

Задоволеність і відчутне навчання як результати

Задоволеність — найчастіше самооповіданий результат у цьому корпусі, з’являється на 63 сторінках статей. Вона також є найслабшим проксі для навчання, і база знань містить явні аргументи на цей привід.

  • Робота з послідовного зворотного зв’язку ШІ формулює принцип проєктування прямо: задоволеність користувачів і поведінкова залученість не є надійними проксі для навчальних здобутків, тому навчання треба вимірювати безпосередньо.
  • Щодо педагогічного керування зауважує, що поточні мовні моделі налаштовані інструкціями на роль корисних асистентів, що максимізують задоволеність користувачів, тоді як мета тьютора — максимізувати навчання, — ці дві цілі можуть конфліктувати, що робить задоволеність потенційно оманливою метою, а не просто слабкою.
  • Дослідження скаффолдингу стверджує, що відчутна корисність, легкість використання та негайна задоволеність не мають розглядатися як достатні показники ефективності Скаффолдинг.
  • Щодо узгодженого з особистістю моделювання студента спостерігає, що оптимізувати під задоволеність користувачів — це не те саме, що оптимізувати під результати навчання, і що два можуть розійтися.

Патерн, який варто винести: задоволеність реагує на неправильні речі, коли метою є навчання. Система, яка швидко відповідає, охоче погоджується та зменшує зусилля, буде оцінена високо, і ці самі властивості є тими, які база знань пов’язує зі зменшеною продуктивною боротьбою та завищеною продуктивністю на роботі за допомогою ШІ. Повідомлена задоволеність і виміряне навчання не є ворогами; вони просто не є замінниками, і розглядання першого як доказу другого — найпоширеніший зсув, який документує ця сторінка.

Що робить інструмент самооповідання достовірним

Чотири властивості відокремлюють обстеження, яке може підкріпити твердження, від того, яке не може.

  • Конструктна валідність. Пункти мають бути показані як такі, що вимірюють названий конструкт, ідеально за допомогою факторного аналізу. Дослідження паралельних мір вище валідувало обидва свої інструменти і все одно виявило їхню розбіжність — валідність інструмента нічого не говорить про те, чи фіксує він поведінку.
  • Надійність і структура. Інструменти, валідовані за факторами, повторюються в цьому корпусі, від мір ШІ-грамотності викладачів, заснованих на теорії самодетермінації, до шкал прийняття, модельованих за TAM і SEM у дослідженнях інструментів мови за допомогою ШІ.
  • Інваріантність, коли порівнюються групи. Шкала, яка поводиться по-різному в різних популяціях, не може підкріпити порівняння. Робота з багатогруповим SEM повідомляє про тестування інваріантності вимірювання (конфігуральна, метрична, скалярна) поряд із своїми непрямими ефектами, а порівняння Швейцарія–Китай виявило, що лише внутрішня цінність досягла метричної інваріантності, а не скалярної — обмеження, яке заявлене, а не приховане, і яке обмежує те, що можуть означати його міжкраїнні відмінності.
  • Альтернатива на основі продуктивності там, де конструктом є компетентність. 20 пунктів із множинним вибором GLAT існують саме тому, що самооповідання не може нести твердження про компетентність.

Вибірка, відповіді та невідповіді

Оскільки обстеження дешево адмініструвати, проблеми вибірки зазвичай є тим місцем, де не спрацьовує твердження про узагальнюваність. Цей корпус повідомляє їх явно й повчально:

Самостійний вибір посилює це. Дослідження щеплення набрало 782 учасників і зберегло 100 валідних випадків із зручної вибірки самооповіданих користувачів ChatGPT; дослідження з фізики мало студентів, які самостійно обрали додаткове завдання за кредити, що правдоподібно перекосило погляди в бік згодних і виключило скептиків.

Дві подальші помилки, специфічні для самооповідання, повторюються. Обмеження інтроспекції та упередженість соціальної бажаності названі властивими самооповіданню в роботі з оцінювання залученості та в дослідженнях, чиї якісні дані спираються на самооповідання. Дисперсія спільного методу виникає, коли предиктори та результати надходять від тих самих респондентів у той самий час: дослідження поміркованого опосередкування використання ШІ та критичного мислення операціоналізувало використання, когнітивне навантаження та саморегульоване навчання — усе через стандартизовані інструменти самооповідання в одній часовій точці, і піднімає упередженість спільного методу як наслідок; дослідження PLS-SEM мотивації та залученості так само спирається повністю на самооповідання і не може встановити тимчасове впорядкування своїх посередників.

Засіб: додавання доказів не-самооповідання

Конструктивні відповіді бази знань узгоджені, і жодна з них не вимагає відмови від обстежень.

Як читати твердження самооповідання

  • Запитуйте, якого різновиду твердження це. Сприйняття — належна територія; поведінка апроксимується; навчання та компетентність цим шляхом недосяжні.
  • Перевіряйте, хто відповів, а хто ні. Частка відповідей, рамка вибірки та самостійний вибір визначають, що описують відсотки — дослідження студентів одного закладу описує це середовище, а не студентів загалом.
  • Перевіряйте інструмент. Чи був він валідований для цього конструкту та цієї популяції, і якщо порівнюються групи, чи тестувалася інваріантність?
  • Стежте за дизайнами з єдиним джерелом. Якщо предиктори та результати обидва надходять із тієї ж анкети в одній часовій точці, асоціації узгоджі як із дисперсією спільного методу, так і з запропонованою теорією.
  • Розглядайте задоволеність як сигнал проєктування, а не як результат навчання. Висока задоволеність плюс неперевірене навчання — стандартна конфігурація в оцінюванні інструментів ШІ, і цей корпус показує розбіжність двох.
  • Надавайте перевагу дослідженням, які показують свою роботу: заявлені частки відповідей, заявлені обмеження і хоча б одне джерело доказів, яке не надходить від запитання.

Пов’язані поняття

Пов’язані статті

Пов’язані поширені питання

Метадані

Дизайн дослідженняSurvey
Цільова аудиторіяResearchers, Instructors
Навчання та викладанняСамоефективність, Залученість здобувачів
Оцінювання та вимірюванняВалідність оцінювання, Освітнє вимірювання, Навчальні здобутки
Методи досліджень та оцінкаКількісне дослідження, Методи досліджень в AIED, Якісне дослідження
Справедливість, етика та відповідальне використанняКалібрування довіри
Основи ШІ в освітіШІ-грамотність
Вид сторінкиEvaluation
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.