База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Автоматизоване оцінювання

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Автоматизоване оцінювання — використання ШІ для оцінювання робіт студентів, від Формативне оцінювання до іспитів із великою вагою. Автоматизоване оцінювання охоплює кілька модальностей — завдання з вибором відповіді, коротку відповідь, есе, код і оцінювання на основі виконання — і варіюється від прямого автоматизованого оцінювання до систем, уважних до упевненості, які повідомляють відкалібровану невизначеність разом зі своїми оцінками.

Питання для роздумів

  • Автоматизоване оцінювання варіюється від оцінювання завдань з вибором відповіді до есе, коду та оцінювання на основі виконання. Яка найбільша різниця, на вашу думку, була б між тим, наскільки надійно ШІ може оцінити вікторину з вибором відповіді в порівнянні з есе вільної форми — і чому?
  • Центральна ідея дизайну тут — «уважність до упевненості»: оцінювачі на базі ШІ, які повідомляють, наскільки вони впевнені, позначаючи випадки низької упевненості для розгляду людиною, а не видаючи єдину безумовну оцінку. Як оцінка, яка сказала б «я на 70% упевнений щодо цього», змінила б те, як ви використовували б чи довіряли б автоматизованій оцінці?
  • Дослідження показують, що автоматизоване оцінювання може систематично ставити в невигідне становище людей, для яких мова не є рідною — ШІ оцінює мову, а не розуміння. Чому автоматизований оцінювач може бути особливо схильним до такого роду несправедливості, навіть коли він досягає високої згоди з людськими оцінювачами загалом?
  • Одне дослідження виявило, що спосіб валідації може інфлювати повідомлену продуктивність: наївний метод перехресної валідації повідомляв майже досконалі результати, які різко падали за більш суворої валідації, незалежної від проб. Який урок ця попереджальна історія має для того, як ви маєте читати будь-яке твердження, що система оцінювання на базі ШІ «працює»?
  • Сторінка стверджує, що відкалібрована упевненість дає змогу робочим процесам із людиною в циклі, підтримує калібрування довіри та зміцнює валідність вимірювання. Якщо б автоматизована система спрямовувала свої найневизначеніші випадки на розгляд людиною, що ви хотіли б знати про те, як ці випадки обираються, перш ніж довіритися такому розділенню?
  • Автоматизоване оцінювання описується як одне з найзріліших застосувань AIED, проте оцінювання без корисного зворотного зв’язку має обмежену освітню цінність. Як фокус винятково на створенні оцінок — а не придатного до використання зворотного зв’язку — міг би змінити те, що студенти справді отримують від оцінювання за допомогою ШІ?

Вступ

Модальності оцінювання

  • Коротка відповідь та есе: автоматизоване оцінювання, Автоматизоване оцінювання есе та підходи уважні до упевненості працюють з оцінюванням вільного тексту.
  • Оцінювання коду: оцінювання Bash та рев’ю коду демонструють оцінювання програмування.
  • Формативне оцінювання: автоматизація наукових дисциплін рівня A та CoTAL зосереджуються на формативному, а не підсумковому використанні.
  • Оцінювання, згенеровані ШІ у масштабі: Assessing AI-Generated Exams показує, що ітеративно удосконалені, адаптовані до курсу іспити, згенеровані ШІ, досягають Теорія відгуку завдань-виміряної якості на рівні питань стандартизованих іспитів, написаних експертами (складність β̄ = −0.45 проти 0.35; дискримінативність ᾱ = 1.3 проти 1.2) на 91 коледжному класі — доказ того, що автоматизоване оцінювання може перейти від оцінювання до повної генерації завдань.
  • Оцінювання виконання: оцінювання залученості за відео та оцінювання малюнків розширюють автоматизацію за межі тексту.
  • Мультимодальні дані іспитів і рубрики: набір даних відповідей на мультимодальний іспит із експертними рубриками на основі результатів навчання (OBE) дає еталонний ресурс для автоматизованого оцінювання на рівні критеріїв між різними модальностями відповідей, підтримуючи дослідження з бенчмаркінгу та Освітнє вимірювання мультимодальних робіт студентів.
  • Нейрофізіологічне оцінювання: Nanayakkara & Halloluwa (2026) бенчмаркують моделі ML/DL для прогнозування знайомості на основі ЕЕГ (обличчя проти математичних рівнянь) як крок до прямих, об’єктивних мір засвоєння знань. Ключово, вони показують, що стандартна стратифікована перехресна валідація інфлює продуктивність (до 0.9853 F1) через часовий витік, тоді як валідація Group K-Fold, незалежна від проб, знижує пік до 0.6038 F1 — попереджальний методологічний урок для будь-якого бенчмаркінгу автоматизованого оцінювання.

Автоматизоване оцінювання робіт

Автоматизоване оцінювання робіт — одне з найзріліших і найширше розгорнутих застосувань ШІ в освіті — системи ШІ, які оцінюють роботи студентів, від оцінювання завдань з вибором відповіді до оцінювання есе та рев’ю коду. Його модальності оцінювання включають:

  • Студенти відокремлюють корисність зворотного зв’язку від оцінної влади: AlGhamdi (2026) документує випадок, коли оцінка ШІ враховувалася в балах, і студенти це знали — 13 студентів із обчислювальних спеціальностей, чиї відскановані рукописні роботи були оцінені ChatGPT за рубрикою, що охоплює зрозумілість, організацію, правильність речень і стислість. Кожен учасник визнав зворотний зв’язок корисним, проте всі відокремили цю корисність від влади, а кілька відкинули односторонній, недіалоговий характер автоматизованого оцінювання — «ChatGPT is not like people. You talk to them and explain excuses... I like normal teacher [to] grade my work.» Дослідження позиціонує автоматизоване оцінювання як прийнятне для ревізії поверхні, але не як остаточного оцінювача, із умовною довірою, опосередкованою наглядом інструктора.
  • Оцінювання коротких відповідей: уважне до упевненості автоматизоване оцінювання коротких відповідей (confidence-aware ASAG) оцінює відповіді вільного тексту, причому калібрування упевненості критичне — системи мають знати, коли оцінювання надійне. Оглядовий огляд автооцінювання коротких відповідей у науці (2017 — початок 2024) документує історію галузі: Morley et al. виявили, що моделі сімейства BERT (base, RoBERTa, DistilBERT, SciBERT) домінували — використані в 20 із 21 досліджень, із піком у 2021 — до того, як підходи на основі GPT були впроваджені через Інженерія підказок, а не дообучення, приблизно з 2022 року. Моделі, доповнені доменними даними (підручники, рубрики, додаткове попереднє навчання), стабільно перевершували ті, що без них, проте мало хто міг обґрунтувати оцінки в людському зрозумілих термінах, а Пом’якшення упередженості між демографічними та мовними групами досліджували рідко, — змушуючи авторів стверджувати, що автооцінювачі мають підтримувати, а не заміщати Викладання. Керований PRISMA систематичний огляд 42 емпіричних досліджень оцінювання та зворотного зв’язку (2023–2025) узагальнює це застереження на всю галузь: LLM зрівнюються з людськими оцінювачами на завданнях із закритим закінченням і питаннях із короткою відповіддю, але не можуть повністю замістити людське судження на складній, відкритій або суб’єктивній роботі, що вимагає поглибленого аналізу чи Креативність, і найвища ефективність оцінювання досягається в гібридних системах, які поєднують оцінювання за допомогою ШІ з наглядом і перевіркою викладача (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback).
  • Оцінювання есе: системи Автоматизоване оцінювання есе, такі як AES на основі анкорів, використовують стратегії підказок, щоб наблизитися до надійності людського рівня. AIAWE розширює автоматизоване оцінювання на ширше оцінювання письма.
  • Рев’ю коду: оцінювання Linux Bash та рев’ю коду CS1 демонструють автоматизоване оцінювання в освіті з обчислювальної техніки.
  • Персона підказки може зламати оцінювача, а дообучення може це полагодити: Habibullah et al. (2026) оцінили практичний іспит із комп’ютерного зору (570 студентів із подвійним оцінюванням) у 171 конфігурації та другий іспит із машинного навчання (1 038 студентів) у ще 162. Коротка вставка «строгого оцінювача» вивела 14 із 17 моделей з відкритими вагами за межі оцінюваної смуги (MAE ≥ 8), три припинили оцінювання взагалі; шкоду простежувалося до двох речень про утримання балів, а не до тону чи масштабу моделі, і її напрям був специфічним для іспиту, покращуючи сім моделей на другому іспиті. Легке дообучення LoRA приблизно на 3 900 об’єднаних оцінених прикладах вивело п’ять малих відкритих моделей на паритет або краще з людським оцінювачем, тому вразливість є артефактом підказок, а не межею можливостей.
  • Формативна інтеграція: автоматизація наукових дисциплін рівня A та CoTAL показують, як автоматизоване оцінювання живить цикли Формативне оцінювання.
  • Покриття типів зворотного зв’язку — це не узгодженість із викладачами. Almousa et al. (2026) анотували зворотний зв’язок на рівні абзацу з трьох університетських курсів письма на сім типів фокуса; більшість моделей випускають майже кожен тип, проте їхні розподіли розходяться з еталоном викладача, причому найближчим є налаштований на освіту LearnLM (дивергенція Єнсена–Шеннона 0.1344), а найдальшим — Mistral-7B (0.2695). Підказки з визначеннями категорій або опрацьованими прикладами збільшували дивергенцію для більшості моделей.
  • Упередження та справедливість: дослідження мовних упереджень в оцінюванні фізики документує, як автоматизоване оцінювання може ставити в невигідне становище людей, для яких мова не є рідна, — пов’язуючись із Пом’якшення упередженості та Справедливість.
  • Бенчмаркінг моделей GenAI для оцінювання з відкритим закінченням: Pecuchova, Benko & Drlik (2025) бенчмаркували одинадцять моделей GenAI та моделей реченнєвих вкладень проти двох експертних людських оцінювачів на 1 885 відповідях із відкритим закінченням на 24 питання з інженерії програмного забезпечення. Лише GPTo1 досяг майже досконалої згоди (каппа Флейса 0.82, низькі хибнопозитивні та хибнонегативні результати між категоріями оцінок), із Claude3 та PaLM2 зовсім близько; чутливі до контексту моделі GenAI стійко опрацьовували короткі, різноманітно сформульовані студентські відповіді, тоді як моделі вкладень на основі референсів (наприклад, 345 хибнопозитивних у BERT) систематично карали правильні, але по-іншому сформульовані відповіді — доказ того, що вибір моделі, а не лише формат оцінювання, формує надійність для оцінювання відкритих відповідей.
  • Приклади підказок вирішують згоду оцінювання: Takahashi et al. (2026) автоматизували ієрархічне діагностичне міркування (HDR), завдання прикладної компетентності, в якому здобувачі знаходять і пояснюють навмисно вбудовані помилки в короткому випадку. Використовуючи GPT-4o без дообучення, команда створила нові задачі та оцінила описи студентів: згенеровані та написані людиною задачі несли ту саму внутрішню послідовність (альфа Кронбаха = 0.78) і не показали суттєвої відмінності в розподілі оцінок між 100 учасниками, а кореляція формату з контролем на розуміння читання залишалася низькою (α = 0.36 і 0.41). Точність оцінювання залежала від підказки, а не від моделі — без опрацьованих прикладів точність Q2 падала до 0.42, тоді як додавання оцінених людиною правильних і хибних прикладів піднімало згоду до 98% або вище на кожному питанні (Q1 і Q2 — на 100%) — при виміряній людській вартості 138 хвилин експертного оцінювання для 117 відповідей плюс 30 хвилин консенсусу.

Власний режим міркування моделі — другий важіль конфігурації: на 32 анонімізованих подачах іспиту магістерського рівня з громадського здоров’я той самий ChatGPT перейшов із зваженої каппи 0.269 у швидкому режимі до 0.718 у режимі мислення, тоді як Kimi досяг 0.571 (Brevik et al. (2026)).

  • Багатоагентне кодування відповідей викладачів із відкритим закінченням, де надійність несе рамки, а не модель: Copur-Gencturk et al. (2026) розширюють автоматизоване оцінювання за межі робіт студентів на кодування власних знань із предмета (CK) та педагогічних знань із предмета (PCK) викладачів, запитуючи, чи може ШІ відтворити навчене людське кодування письмових відповідей 268 учителів середньої школи з математики США щодо відношень і пропорційних залежностей. Спеціально побудована багатоагентна LLM, GradeOpt, присвоює три ролі на основі GPT-4o — Оцінювач, який застосовує людський посібник із кодування, Рефлектор, який діагностує кожну розбіжність із людським кодом, і Удосконалювач, який вплітає пункти уточнення назад у посібник протягом до шести раундів — і тісно зрівнялася з навченими людськими кодерами на CK (κ = .88 і .85), досягнувши суттєвої згоди на значно більш інтерпретативних пунктах PCK загалом (κ = .68; зважена κ = .79). Дві бази NLP і модель одного запиту GPT-4o ніколи не перевищували κ = .39 або зважену κ = .55 на PCK, тому автори приписують надійність удосконаленню інструкцій проти посібника з кодування, а не масштабу моделі, і рекомендують експертний розгляд там, де суміжні рівні кодування розмиваються, оскільки залишкові помилки GradeOpt були типово суміжними кодами, а не дикими промахами.

  • Оцінювання іспиту змішаного формату (2026): Falahat, Das, Bhaumik & Thambi (2026) оцінили ChatGPT-5 проти оцінювання факультету людьми іспиту з фармації з 21 завдання (16 студентів), що охоплює завдання з вибору відповіді, «вибери все, що підходить», заповнення пропусків, перелічування, короткої відповіді та есе. Згода була суттєвою до майже досконалої для об’єктивних типів завдань (CCC 0.935–1.000 — завдяки правильним відповідям, наданим під час оцінювання), але розвалилася для перелічування (0.621–0.708), короткої відповіді (≈0 до негативних) та есе (0.341–0.854); надання структурованої рубрики послідовно не покращувало згоди по всьому іспиту (71.1% без проти 68.2% із нею). Дослідження загострює методологічний пункт, який повторюється в усьому автоматизованому оцінюванні, — помірна відсоткова точність часто співіснує з низькою Валідність оцінювання, — тому одна точність перебільшує надійність, і воно рекомендує гібридне оцінювання для складних, суб’єктивних або високоважливих завдань.

  • Міжсімейна калібрування смуг оцінок на автентичних оцінених есе (2026): Kerwat, Donaldson & Mahomed (2026) провели вісім заздалегідь заданих конфігурацій із чотирьох сімейств моделей (GPT-OSS 20B, GPT-OSS 120B, Qwen 32B і Llama 3.1 8B, кожна на двох температурах) на тому самій зафіксованій когорті 114 есе BAWE/Coventry з інституційними мітками Merit і Distinction, з однією спільною підказкою, що дозволяла чотири смуги. Точна згода по смугах коливалася від 18.4% до 54.4%: Llama 3.1 8B на температурі 0.5 лідирувала (54.4% точних, 98.2% у межах однієї смуги, MAE 0.474, майже нульове упередження), тоді як GPT-OSS 120B була найслабшою (18.4%) і систематично занижувала оцінки в середньому на 1.316 смуг на температурі 0.5, із тим що точність на Distinction відставала від точності на Merit упродовж усього. Зафіксована когорта не містила референсів Pass або Fail, тому це дискримінація Merit–Distinction, а не надійність по всьому діапазону оцінок, і температура не була ліками — вона допомогла одному сімейству описово, залишила інше незмінним і суттєво погіршила GPT-OSS 20B (з 39.5% до 29.8% точних). Два уроки переносяться за межі дослідження: відстань між оцінками та напрямлена упередженість розкривають те, що ховають статистики згоди, і розмір моделі не є показником Валідність оцінювання.

  • Інженерія рубрик для оцінювання відповідей із відкритим закінченням в медичній освіті: Olvet et al. (2026) запитали, чи може GPT-4 надійно оцінювати питання з відкритим закінченням на медичних іспитах до клеркшипу. Після трьох ітерацій удосконалення рубрики, керованого людиною, у двох школах США надійність між оцінювачами з факультетом досягла суттєвої до майже досконалої згоди для трьох із чотирьох питань із використанням аналітичних і цілісних рубрик (зважена каппа до 0.94), тоді як пункт із цілісною рубрикою застряг на помірній (κw = 0.54). Аналіз патернів помилок показав, що розбіжності простежувалися до обох оцінювачів — GPT-4 завищував оцінку, коли студенти пропонували кілька відповідей або використовували лексику, відсутню в рубриці, тоді як факультет часто був «надто щедрими» оцінювачами, — змушуючи авторів рекомендувати збереження людей в циклі (наприклад, оцінювання факультетом підмножини для підтвердження точності). Оскільки приблизно 82% медичних шкіл США оцінюють роботи до клеркшипу на складання/нескладання, точна згода оцінок ШІ часто непотрібна для операційного використання.

  • Оцінювання з людиною в циклі для масштабного національного оцінювання письма (2026): Curi et al. (2026) масштабують оцінювання на основі підказок за допомогою Великі мовні моделі (LLM) на реальний іспит із письма іспанською з великою вагою (~5 000–6 000 відповідей на рік), досягаючи точності на пункт 60–80% і послідовності виходів 90%+ по аналітичній рубриці з 15 пунктів, із детермінованим перевірником NLP, що замінює LLM на пункті правопису (100% послідовності). Його особливий внесок — валідація, орієнтована на рішення, замість метрик, орієнтованих на модель: систематична упередженість ШІ до заниження, перетворена через IRT-і-Bookmark у рівні володіння, дає розбіжності складання/нескладання в 15.3–16.5% випадків — усі з яких робочий процес із людиною в циклі спрямовує на експертний розгляд, скорочуючи відповіді, що потребують повного людського оцінювання, щонайменше на 50%, зберігаючи якість рішень. Це обґрунтовує гібридне оцінювання в операційному оцінюванні, а не в наборах даних для доказу концепції.

  • Згода на рівні вимірів показує, де оцінювач не може виявити зміну: SOPHIE 2.0 (Hasan et al., 2026) валідувала суддю на основі LLM проти консенсусу всіх людських джерел оцінювання — стандартизованих пацієнтів і сторонніх оцінювачів — на рубриці клінічної комунікації з трьох вимірів, досягнувши Пірсона 0.759 та ICC(A,1) 0.746 лише зі стенограм, у межах розкиду індивідуальних людських оцінювачів, а не за ним. Його найслабшим виміром був Be Explicit (кореляції 0.414–0.598 між кандидатськими суддями), і це також був єдиний вимір, чиї оцінки не рухалися вимірювано між двома зустрічами (Δ = 0.014, p = 0.1204) — тому згода на рівні вимірів може заздалегідь вказувати, на яких вимірах автоматизований оцінювач не здатний показати поліпшення.

Оцінювання, уважне до упевненості

Центральна мета дизайну в автоматизованому оцінюванні — уважність до упевненості: системи оцінювання на базі ШІ, які повідомляють відкалібровану невизначеність разом зі своїми оцінками, а не видають єдиний безумовний прогноз. Уважний до упевненості оцінювач не лише створює оцінку чи класифікацію, але й сигналізує, наскільки він упевнений, так що випадки низької упевненості можуть бути позначені для розгляду людиною, а користувачі можуть калібрувати свою Довіра до системи. Це є центральним для відповідального автоматизованого оцінювання і тісно пов’язується з Психометрично обізнаний ШІ та Калібрування довіри.

Як упевненість моделюється в дослідженнях бази знань:

  • Злиті сигнали упевненості для оцінювання коротких відповідей: Confidence-Aware ASAG зливає сигнали упевненості, засновані на моделі (вербалізовані, латентні та засновані на послідовності), з похідною від набору даних алеаторичною невизначеністю через регресію Random Forest.
  • Упевненість в мультимодальних роботах студентів: уважне до упевненості оцінювання намальованих студентами наукових рисунків розширює моделювання упевненості на мультимодальні відповіді студентів.
  • Психометричне калібрування LLM: Психометрично обізнаний ШІ підвищує стандарт узгодження оцінювання за допомогою Великі мовні моделі (LLM) з теорією вимірювання, із калібруванням як основним вимогою поряд із узгодженням із теорією відгуків на пункти.
  • Калібрування складності та часу відповіді: калібрування складності іспитів із програмування перепозиціонує LLM як допоміжні джерела доказів, чиї оцінки складності корелюють із частками складання студентів.
  • Оцінювання есе, адаптивне до рис особистості: PsyScore показує, що психометрично обізнана рамка може адаптувати зворотний зв’язок за есе до рис здобувача.
  • Оцінювання візуальних робіт студентів: DiagramIR зворотно перекладає математичні діаграми (TikZ), згенеровані LLM, в проміжне представлення з детермінованими перевірками, перевершуючи LLM-as-a-Judge на згоді з людськими оцінювачами і дозволяючи малим моделям зрівнятися з великими при ~10-кратно нижчій вартості — масштабований шлях до оцінювання нетекстового, діаграмного виходу студентів.
  • Висновок, контрольований довірою, в автоматизованому оцінюванні викладачів: Li, Yang & Fang (2025) розміщують калібрування через відкидання Монте-Карло безпосередньо в шляху оцінювання, так що дисперсія відкидання вище навченого порогу викликає вихід «відхилити й перенаправити», а не оцінку, поряд із адверсарним зменшенням упереджень, яке утримує розрив у справедливості на рівні 1.8%, тоді як бази сидять у діапазоні 6.4–8.2%, і з очікуваною похибкою калібрування 0.032 на TeacherEval-2023. Їхній абляційний аналіз — це аргумент калібрування в мініатюрі: видалення модуля, контрольованого довірою, знижує послідовність між оцінювачами до 78.6%, і автори приписують зменшення навантаження на людський розгляд на 41% цьому контрольованому виходу — обробка невизначеності як архітектура, а не як післяфактована звітність.
  • Пояснюваність оцінювання на основі рубрики: Bueno et al. показують, що незалежні від моделі атрибуції SHAP є більш вірними та переносимыми, ніж згенеровані LLM обґрунтування, для пояснення оцінок на основі рубрики (наприклад, якості зворотного зв’язку в аудиторії), і пропонують тести на основі видалення та міжмодельні тести як принциповий спосіб оцінки пояснень будь-якої моделі оцінювання.

Чому важлива відкалібрована упевненість:

  • Дає змогу делегуванню з людиною в циклі: випадки низької упевненості спрямовуються до людського оцінювача — підтримуючи робочі процеси з людиною в циклі, а не сліпу автоматизацію.

  • Підтримує калібрування довіри: відкалібрована упевненість дає користувачам змогу узгоджувати свою довіру з фактичною надійністю системи, уникаючи і надмірної, і недостатньої довіри.

  • Покращує валідність вимірювання: оцінювання, уважне до упевненості, зміцнює освітнє вимірювання та Валідність оцінювання, роблячи невизначеність явною.

  • Справедливість та захищеність: позначення випадків низької упевненості для розгляду знижує ризик упевнено хибних оцінок, особливо для атипових або недопредставлених відповідей.

  • Генерація рубрик і конвеєри оцінювання під наглядом інструктора: Mendonça et al. (2026) показують, що згенеровані LLM рубрики оцінювання (HARMOGEN-R) можуть зрівнятися з рубриками, створеними людиною, за технічним контентом у межах еквівалентної межі ±5 балів, причому структурована генерація дає більшу послідовність між моделями. Cruz et al. (2026) оцінюють наскрізний конвеєр оцінювання на базі GPT-4o, де оцінки ШІ відрізнялися від оцінки інструктора не більш ніж на 0.5 бала в 83% із 362 подач (MAE 0.31) — що найкраще осмислюється як масштабоване доповнення до, а не заміна судження інструктора.

Якість і справедливість

Якість автоматизованого оцінювання залежить від валідності оцінювання та Пом’якшення упередженості. Дослідження мовних упереджень показує, що автоматизоване оцінювання може систематично ставити в невигідне становище певні групи студентів. Критерій сам є схильним до помилок. Bozdag and Qiu (2026) оцінюють роботи з фізики GCSE системою ШІ і порівнюють їх із офіційними оцінками екзаменаційної комісії та судженням досвідчених викладачів, розглядаючи згоду з комісією як показник точності, а не саму точність.

Сценарії розгортання і те, що кожен із них вимагає

Наскільки багато узгодженості установа має вимагати, залежить від того, що системі дозволено вирішувати. У дослідженні змішаними методами на 761 автентичному університетському есе в трьох університетах Великої Британії три фронтові моделі по 27 конфігурацій підказок кожна досягли лише 35–65 відсотків згоди з людськими оцінювачами на смузі ступеня, і точність не переносилася між установами, — тому звіт розглядає кандидатські використання як різні сценарії, а не одне рішення. Забезпечення якості людського оцінювання, де ШІ оцінює паралельно, а суттєві відмінності викликають розгляд людиною, є найконсервативнішим. Асистент оцінювання, що ранжує або категоризує подачі за передбачуваною якістю чи невизначеністю, відсіюючи складні випадки або розширюючи короткі людські коментарі до повнішого зворотного зв’язку, є справжньою серединою. ШІ як основний оцінювач, із розглядом людиною вибірки або розподілів оцінок, було визнано прийнятним лише за умови покращення продуктивності системи, і жодна група зацікавлених сторін не підтримала ШІ як єдиного оцінювача.

Звідси випливають три вимоги для будь-якого з них. Оскільки узгодженість є специфічною для моделі та установи, валідація має бути локальною та безперервною — заголовна точність з іншого місця не є доказом готовності. Оскільки оцінки стискалися до середини, ШІ був найменш точним на межах оцінок і для найсильніших і найслабших подач, і саме там рішення про оцінювання несуть найбільші наслідки. І оскільки розбіжність між оцінкою ШІ і людською оцінкою віддзеркалює різне судження, а не лише похибку, розбіжності мають викликати людську інтерпретацію, а не алгоритмічне перекриття, з остаточною владою над оцінкою, що залишається в людей. Впровадження несе також зобов’язання з Урядування ШІ, яких не фіксують технічні метрики: право на пояснення за статтею 22 GDPR там, де автоматизовані рішення впливають на студентів, обов’язки за Законом про рівність, щойно показано, що рівень досягнень і використання мови впливають на оцінки, переглянуті процеси оскарження для помилок, які нелегко виявити, і ризик незворотності — щойно штат і інвестиції зсунеться, установа може мати труднощі з продовженням збирання людського оцінювання, яке їй знадобилося б для повернення. Поєднання трьох моделей не усунуло цієї помилки: оскільки їхні помилки були корельованими — в одному й тому самому напрямку на 63,4% завдань — ансамбль Corsi et al. (2026) був статистично нерозрізненним від найкращої окремої моделі, залишаючи спільне стиснення центральної тенденції на місці.

Venetsanos (2026) постачає критерії, які ці вимоги припускають, стверджуючи, що те, що робить автоматизацію захищеною, — це епістемічний статус завдання, а не те, що технологія може технічно виконати. Його рамки обмежують ШІ межованою перевіркою фактичних і процедурних тверджень — усі чотири з однозначних задокументованих критеріїв, прямого порівняння з усталеним знанням, відсутності оцінювання альтернативних валідних підходів та однієї правильної відповіді або заздалегідь заданого прийнятного набору мають виконуватися водночас, причому неоднозначність за замовчуванням ескалює до людини, — і робить участь ШІ на цьому рівні умовною на п’яти незаперечних принципах, які мають виконуватися всі водночас: база знань має бути курована оцінювачем і обґрунтована на матеріалах модуля, а не на параметричному знанні моделі; людські оцінювачі розглядають кожен вихід ШІ до того, як він дійде до студентів, і мають абсолютне право перекриття з неподільною відповідальністю; зворотний зв’язок має нести чітке походження та атрибуцію; і безпека має бути спроєктована проти адверсарного використання з самого початку, із санітизацією входів для інструкцій, прихованих у білому або дрібному тексті, кодуваннях, зображеннях або метаданих документа, оскільки успішне обходження автоматизованої системи поширюється між когортами студентів. Той самий документ чітко зазначає, що його принципи неперевірені на одночасну здійсненність і що час оцінювача на курування, інфраструктуру безпеки та високочастотний нагляд може перемістити зусилля персоналу, а не зменшити їх, — застереження, яке сидить поряд із вимогою локальної валідації вище.

Безпека оцінювання, опосередкованого ШІ

Оцінка методом червоної команди буденного робочого процесу оцінювання показує поверхню атаки, яку планування для адверсарного використання має охопити. Humble (2026) вбудував п’ять непрямих ін’єкцій підказок у синтетичне есе, яке Microsoft Copilot (GPT-5.2) оцінив як незадовільно в шести з шести базових прогонів, ітеруючи кожну через файли docx, pdf і htm. Дві стратегії змінювали оцінку без видимого попередження — абзац маніпулювання інструкціями та рольової гри в 9 із 9 ітерацій (100%) і той самий абзац, прихований за шаром зображення, в 17 із 18 (94%), — тоді як абзац дрібним білим текстом у кінці документа провалювався в усіх дев’яти ітераціях, а ін’єкції в метадані файлу ніколи не працювали, що автор пояснює тим, що доступ до метаданих був вимкнений у перевіреній версії. Проблема довіри пережила експлойти: після того, як один прогон pdf виявив вбудовану інструкцію і заявив, що оцінюватиме лише за офіційним завданням, повторний запуск того самого файлу підняв оцінку ще шість разів без попередження, а чат, заблокований виявленою атакою, було тихо вимкнено, а не повідомлено користувачеві. Автор стверджує, що отримані оцінки не несуть претензії на валідність в жодному напрямі, що противнику потрібна лише одна працююча комбінація проти багатошарових Ґардрейли (обмежувачі), і що викладач залишається єдиною справжньою перевіркою виходу, поки маніпуляція спроєктована так, щоб не бути видимою, — безпосередньо пов’язуючись із зобов’язанням санітизації входів і адверсарної безпеки, яке викладає Venetsanos вище.

Зв’язки

Автоматизоване оцінювання пов’язане з валідністю оцінювання (забезпечення якості), формативним оцінюванням (контекст використання), пом’якшенням упереджень і Справедливість (справедливість), роллю викладача (як автоматизація змінює роботу інструктора) та Якість зворотного зв’язку ШІ (оцінювання без корисного зворотного зв’язку має обмежену освітню цінність). Оцінювання, уважне до упевненості, є специфічним механізмом у межах ширшої програми психометрично обізнаного ШІ і внеском у калібровану довіру.

  • Масштабне оцінювання за допомогою ШІ рукописних робіт із фізики (2026): Мультимодальна модель (GPT-5.5) оцінила 10 364 відскановані сторінки на національній теоретичній олімпіаді з фізики, відбірковому таборі та університетському іспиті з квантової механіки, досягнувши кореляцій загальної оцінки 0.91–0.97 з офіційними оцінками і відновивши ту саму п’ятірку кращих команд Олімпіади. Переглянуті інструкції з покроковим визначенням місця доказів покращили згоду — доказ того, що мультимодальний ШІ може підтримувати підсумкове оцінювання з великою вагою за ретельної інженерії рубрик і підказок (Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes).

  • Вибіркова автоматизація для рукописних робіт із хімії (2026): Cvengros & Kortemeyer оцінили рукописний підсумковий іспит із загальної хімії 296 студентів покроково за зображеннями рубрик за допомогою мультимодальної, міркуючої LLM, досягнувши високої надійності від запуску до запуску на загальних оцінках (ICC(A,1) = 0.967) і сильної згоди загальних оцінок із оцінюванням асистентів (R² = 0.91). Оскільки надійність на рівні пунктів різко змінювалася за форматом — текстові відповіді та відповіді на хімічні реакції оцінювалися надійно, тоді як малювання та графіки набрали гірше за випадкове — сира згода була визнана недостатньою для використання з великою вагою. Вони операціоналізують людське відкладання через фільтри упевненості (пороги часткової залікової оцінки, поріг ризику на основі IRT та виключення за типом задачі), які перетворюють сирі оцінки ШІ в політику прийняття/відкладення, і показують, що хибнопозитивні результати (ШІ, що зараховує справді хибні відповіді) мають тенденцію залишатися невиявленими, оскільки студенти рідко їх оскаржують, — конкретний психометрично обґрунтований шлях до вибіркової автоматизації (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).

  • Напіввідкрита рукописна математика на університетському іспиті (2026): Liu et al. оцінили німецький університетський іспит із математики за допомогою GPT-4 через два шляхи витягу (попередньо розрізані поля відповідей проти цілих сторінок), два шляхи оптичного розпізнавання символів і два формати рубрик, повідомляючи альфу Кріпендорфа проти людських оцінок 0.22–0.44 із точністю 0.59–0.62 на найкращих робочих процесах і точністю на задачу, що коливається від 0.27 до 0.91 — неприйнятно для підсумкового використання з великою вагою. Перелічування багатокритеріальних правил оцінювання загалом не покращувало згоди (воно допомогло на задачі з частковою заліковою оцінкою), вільне оцінювання без рубрики було значно гіршим (точність 0.50–0.51), а ймовірнісний фільтр упевненості, призначений позначати оцінки для перевірки людиною, суттєво не покращив точності, водночас хибно позначаючи 7–41 відсотків відповідей як надійні. Переносимый урок дослідження є процедурним: скануйте та транскрибуйте цілий аркуш іспиту з маркерами, а не обрізаючи поля відповідей, оскільки студенти пишуть через межі полів; переписуйте правила оцінювання, написані для асистентів викладача, оскільки модель намагалася робити незапитувані виведення з правила, призначеного для людини; і зауважте, що самі правила людського оцінювання перефразовувалися на альфі 0.88 між п’ятьма варіантами, тому стійкість підказок не є вузьким місцем.

  • Порівняльне судження LLM для відбору письма (2026): Mercer & Reed використали сім LLM як попарних порівняльних суддів для оцінювання інформаційного письма 1 208 студентів 3–6 класів на трьох відбіркових випадках. Оцінки LLM-CJ сильно корелювали з оцінками аналітичної рубрики (r = .67–.73, найсильніше для Gemini-3.1 Pro) з AUC .82–.86 для володіння; висновки були стабільними між моделями, із малим приростом валідності від дорожчих, здатніших, тоді як усереднення трьох зразків письма покращувало точність — ширина вибірки мала значення більше, ніж вибір моделі. Патерни предиктивної упередженості для багатомовних здобувачів збігалися з людським оцінюванням за рубрикою, підтримуючи LLM-CJ як ефективний, низьковартісний підхід до відбору (Validity of Large Language Model Comparative Judgment for Universal Writing Screening).

  • Узгодженість, залежна від якості, з оцінюванням інструктора (2026): Порівнюючи ChatGPT, однокурсників і інструктора, які оцінюють ті самі університетські групові проєкти, Usher & Faraon виявили, що узгодженість ChatGPT з інструктором покращувалася зі зростанням якості проєкту — його найбільше завищення було для низькоякісної роботи (≈ +14 балів), скорочуючись до ≈ +2.5 балів для високоякісних проєктів. ChatGPT також оцінював вище в середньому, ніж і однокурсники, і інструктор, — тенденція до інфляції оцінок, що руйнує його надійність як автономного підсумкового оцінювача, особливо для слабших подач.

  • Статистики згоди на малому корпусі можуть вводити в оману рішення про розгортання. Оцінювання 60 маркетингових постів (15 студентів плюс 15 дослідниками написаних низькоякісних анкорів) проти двох незалежних людських оцінювачів дало абсолютну згоду ICC(2,1) на рівні .435 для LLM, .266 для гібриду «правила плюс LLM» з однаковою вагою та .091 для детермінованих правил, із MAE 6.28, 10.53 і 17.22 балів відповідно на шкалі 0–100; гібрид був значно гіршим за саму LLM (різниця парних ICC −.169, 95% CI [−.260, −.106]). Додавання анкорів підняло міжоцінювацьку ICC з .338 до .902 і згоду LLM з .435 до .846, а майже порожній пост отримав 75 проти людського середнього 30.5, показуючи, що єдина вироджена відповідь може домінувати в малій оцінці. (Agreement and error in automated scoring of student marketing posts)

  • Структуроване оцінювання за допомогою LLM може виглядати аналітичним, не будучи діагностичним (2026): Оцінюючи 3 041 відповідь на 50 питань з комп’ютерних наук, три комерційні LLM створили підвиміри рубрики, які були майже надмірними (r = 0.82–0.99, VIF до 45), і називали хибні уявлення лише в 4.8–7.4% коментарів проти 15.0% у викладачів (Zhao et al., 2026).

Пов’язані поняття

Пов’язані статті

Пов’язані поширені питання

Метадані

Цільова аудиторіяInstructors
Технології та методиВеликі мовні моделі (LLM)
Оцінювання та вимірюванняОцінювання, Валідність оцінювання, Автоматизоване оцінювання, Автоматизоване оцінювання есе, Формативне оцінювання
Справедливість, етика та відповідальне використанняПом’якшення упередженості
Основи ШІ в освітіВикладання
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.