База знань AIEdAIEd KB
На цій сторінці

Ця сторінка перекладена українською. Сторінки статей досі написані англійською. Читати цю сторінку англійською

Концепції

Автоматизоване оцінювання есе

Створено 2026-10-13

Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.

Автоматизоване оцінювання есе (AES) — використання ШІ для оцінювання письмових есе, що охоплює традиційні статистичні підходи, дообучені мовні моделі та дедалі доступніші стратегії підказок на основі Великі мовні моделі (LLM). Дослідження AES (research) в цій базі знань охоплює точність оцінювання, справедливість та упередження, психометричну валідність і практичну Доступність для освітян.

Питання для роздумів

  • Автоматизоване оцінювання есе перейшло від традиційних статистичних моделей до підказок на основі LLM. Ключова напруга на цій сторінці — між точністю та доступністю: дообучені моделі оцінюють добре, але є непрактичними для більшості освітян. Що б ви надали пріоритету у своєму власному контексті, і чому?
  • Важливий висновок: просто включення есе-прикладів у підказку наближує згоду LLM–людина до надійності людина–людина, — і дешевша модель може зрівнятися з дорожчою. Що це говорить про те, скільки в якості AES залежить від моделі, а скільки від того, як її підказують?
  • Сторінка попереджає, що оцінювання за допомогою ШІ може систематично занижувати оцінки студентів із різномовного середовища. Перед читанням: якби ви побачили, що ШІ дав нижчу оцінку есе людини, для якої мова не є рідною, чи вважали б ви це «проблемою упереджень» чи просто «оцінкою»? Що змінило б вашу відповідь?
  • Самореференційний підхід оцінює авторів із другою мовою, порівнюючи їхнє письмо з їхньою власною попередньою роботою, а не з нормами носіїв мови. Як вибір бази порівняння змінює те, що означає оцінка, — і до яких студентів він може ставитися справедливіше?
  • AES перетинається з формативним оцінюванням, коли використовується для зворотного зв’язку, а не для оцінювання. Коли зворотний зв’язок машини за есе був би справді корисним для розвиваючогося автора, а коли він міг би спрощувати ті види якісного зворотного зв’язку, який дав би людський редактор?

Вступ

Автоматизоване оцінювання есе має довгу історію в освітніх технологіях, від ранніх статистичних моделей до сучасних підходів на основі LLM, які можуть оцінювати есе цілісно без великих попередньо оцінених наборів даних. Ключова напруга в дослідженнях AES — між точністю та доступністю: хоча дообучені моделі досягають сильних результатів, вони є ресурсовитратними та непрактичними для більшості освітян.

  • Zhang et al. RACES використовує узгодження винагород, щоб зробити оцінювання есе за допомогою LLM і точним, і послідовним, звертаючись до основного занепокоєння валідності AES.

Ключові теми досліджень

AES на основі підказок виник як найдоступніший підхід. Дослідження Choi et al. із анкорами показує, що включення есе-прикладів у підказки наближує згоду LLM–людина до надійності людина–людина, причому GPT-4o mini досягає результатів, порівнянних із GPT-4o, за нижчої вартості. Це пов’язується з ширшими дослідженнями Інженерія підказок і робить AES здійсненним для використання викладачем.

Психометричне оцінювання на рівні рис виходить за межі цілісних оцінок. PsyScore дає психометрично обізнану рамку для оцінювання, адаптивного до рис, зі зворотним зв’язком, обґрунтованим на ЗРД. ICLE++ моделює дрібнозернисті риси для цілісного оцінювання есе, підвищуючи точність автоматизованого оцінювання.

  • Оцінювання рис на рівні вимірів обмежене даними, що стоять за кожним виміром. Firdausi et al. (2026) навчили один класифікатор на вимір рамок критичного мислення FRISCO Енніса на 106 есе з фізики одинадцятикласників Індонезії (83 для навчання, 23 для тестування, із трьома викладачами-оцінювачами, що погоджуються на каппі 0.78–0.84 на кожному вимірі). Згода концентрувалася на вираженні, а не на міркуванні: квадратична зважена каппа досягла 0.763 для Clarity і 0.728 для Situation, але лише 0.374 для Focus, 0.332 для Reason і 0.227 для Inference. Порядковий сигнал був створений, а не спостережений — синтетичні есе рівня 1 (генерація за шаблоном, деградація до 20–40% початкової довжини, видалення ключових слів) плюс парафраз LLM підняли Focus на +0.346 каппи від базової 0.028, — і одна конфігурація досягла точності 0.652 із майже нульовою або негативною каппою, тому точність не є придатним критерієм відбору в порядковому AES.

Упередження та справедливість є критичним занепокоєнням. Feser & Tschisgale виявили, що оцінювання за допомогою ШІ систематично занижує оцінки студентів із різномовного середовища, підкреслюючи потребу в розгляді Пом’якшення упередженості та Справедливість при розгортанні AES.

Розбіжність із людськими оцінювачами є систематичною, а не випадковою. Готові моделі GPT і Llama погоджувалися з людськими оцінками лише слабко (QWK ≈ 0.17–0.28 проти 0.72 між двома людськими оцінювачами) і упереджували в напрямі, залежному від якості — вище для коротких, нерозвинених есе і нижче для довгих, сильних із дрібними помилками на поверхні (Mathew et al. (2026)).

Оцінювання другої мови та самореференційне оцінювання досліджує контексти нерідної мови. Профільне оцінювання другої мови використовує самореференційний підхід, порівнюючи письмо студента з його власною попередньою роботою, а не з нормами носіїв мови.

Інтерпретованість і зважування особливостей відкриває чорну скриньку того, як LLM справді оцінюють. Wang et al. (2026) порівняли три LLM (Qwen, GPT, Gemini) з людськими оцінювачами на есе нерідною англійською за шістнадцятьма текстовими особливостями, знаходячи сильну загальну узгодженість, але відмінне зважування: LLM робили акцент на граматичній точності, лексичній витонченості та синтаксичній складності, тоді як людські оцінювачі надавали пріоритету повноті контенту та візуальному поданню. Критично, LLM зрушували своє зважування за рівнем володіння — надаючи більше ваги мовним помилкам для студентів із низьким рівнем і дедалі більше винагороджуючи лінгвістичну витонченість для студентів із високим рівнем, — тоді як людські оцінювачі підтримували більш стабільну рамку. Liu, Ye, and Yan (2026) розширюють це рамкою оцінки п’яти моделей (GPT-4.1, Llama 4 Maverick, Gemini 2.5 Flash, Claude Sonnet 4, DeepSeek R1) на 60 довгих есе, використовуючи каузальне відкриття для розкриття відмінних оцінних евристик: більшість моделей надавали пріоритету лексичній точності та плавності, тоді як інші підкреслювали синтаксичну складність або міждоменну інтеграцію, і деякі показували непослідовність, компресію оцінок або систематичне заниження. Разом ці дослідження встановлюють, що валідність AES залежить не лише від загальної згоди, але від того, як моделі зважують особливості і чи є це зважування стабільним між підгрупами здобувачів, — безпосередньо інформуючи аудит Валідність оцінювання та Пом’якшення упередженості.

Межі типів завдань і межі оцінювання есе. В університетському іспиті змішаного формату Falahat, Das, Bhaumik & Thambi (2026) виявили, що згода ChatGPT-5 з факультетом була суттєвою до майже досконалої на об’єктивних завданнях (CCC 0.935–1.000), але різко падала на відповідях із відкритим закінченням — майже нульова до негативної для короткої відповіді і лише 0.341–0.854 для питань-есе, — і структурована рубрика послідовно не покращувала згоди за есе. Це обмежує валідність AES: плавність моделі допомагає на добре специфікованих завданнях, але не переноситься на цілісне оцінювання есе, де контекстуальна інтерпретація відповідей із частковою заліковою оцінкою усе ще надає перевагу людському судженню.

Межі типів проблем в діагностичній згоді. Yao and Fan (2026) використовували DeepSeek-R1 для позначення конкретних проблем письма до ревізії і порівнювали його позначення з діагнозом викладача на трьох циклах (середнє F1 = 0.768, SD = 0.037). Згода була найвищою на локально підказуюваних проблемах, таких як вибір слова словникового запасу (F1 = 0.824), і найнижчою там, де проблема залежить від відношення твердження до доказу (використання джерел і доказів, 0.579), тому згода в діагностичній ролі залежить від типу проблеми, а не лише від моделі чи підказки. Перекошений розподіл рубрики може змусити сукупні метрики оцінювання вводити в оману. Автоматизоване оцінювання виміру рубрики може бути завданням класифікації з перекошеним розподілом міток, а не безперервною оцінкою: при позначенні рівня рефлексії 0–3 в 1 954 есе угорських студентів 68% есе сиділи на рівні 3 і 1.8% на рівні 0, і найкраща поверхнева конфігурація (SMOTEBoost із вкладеннями Qwen3) досягла загальної оцінки 0.7176, усередненої за точністю, F1 і ROC-AUC, проти 0.6872 для найкращого дообученого трансформера, — проте одна конфігурація RidgeClassifier набрала 0.7131 ROC-AUC лише за точності 0.5162, а балансування класів знизило кожну метрику (точність, падаючи з 0.6672 без нього до 0.6408 з ним), тому автори читають вибір моделі як питання про те, яка метрика має значення, із трансформерами, які заробляють своє місце чутливістю до класу меншості, а не сукупною згодою (Csibi et al., 2026).

Докази розгортання з великою вагою. Польові докази з реального розгортання з великою вагою (Uruguay's Acredita EB, 2024–2025; Curi et al.) показують, що GPT-5 на основі підказок досягає 60–80% згоди з навченими людськими оцінювачами по аналітичній іспанській рубриці з 15 пунктів, приблизно на п’ять процентних пунктів нижче за людську згоду між оцінювачами на більшості пунктів і ніколи більш ніж на 15 пунктів нижче, із послідовністю від запуску до запуску вище 90% на майже всіх пунктах. Словниковий запас, синтаксис і правопис були найслабшими вимірами, і пункт правопису довелося передати детермінованому перевірнику граматики (LanguageTool, 68% точності, 100% послідовності), оскільки токенова орфографія — це місце, де модель найменш стабільна. Підказки, побудовані для одного видання іспиту, переносилися на наступне лише з правками, специфічними для теми, і ШІ був систематично суворішим за людей — занижував, а не завищував оцінки. Для дизайну AES урок у тому, що оцінювання на основі підказок може наблизитися до людської згоди навіть на національному іспиті, тоді як його залишкова слабкість сидить на рівні низькорівневих мовних умовностей, а не цілісної якості Письмо.

Упевненість на токеновому рівні, оцінювання з зважуванням за ймовірностями та анесемблювання кожне покращували згоду на оцінюванні дивергентного мислення — складені техніки досягли r = 0.846 (RMSE = 0.4848), і спрямування лише 20% найменш упевнених відповідей на розгляд людиною скоротило ручні зусилля приблизно на 80% (Organisciak & Acar (2026)).

Людський Бенчмарк і те, що він може і не може узаконювати. Дослідження OpRaise є найсильнішою перевіркою в цій базі знань того, чи готове оцінювання за допомогою LLM до рутинного використання, і його відповідь залежить від еталона, а не від моделі. Воно порівняло три фронтові системи (Claude Opus 4.6, GPT-5.4, Gemini 3 Flash), кожну в 27 конфігураціях підказок, що перетинають специфічність рубрики, калібрування та стратегію оцінювання, проти модерованих оцінок 761 автентичного есе з психології від 125 студентів у трьох університетах Великої Британії. Людські оцінки були прийняті як істина за останню інстанцію, оскільки академічне судження є суспільно прийнятим стандартом, і автори зазначають, що людські оцінювачі погоджуються між собою лише помірно, — що обмежує, наскільки сильною могла б розумно вимагатися згода ШІ–людина. На тлі цього еталона згода на смузі ступеня Великої Британії коливалася від 35 до 65 відсотків за установою (63 відсотки в Кембриджі, 53 відсотки в Ноттінгемі, 35 відсотків у Манчестерському метрополітені) і не переносилася між ними, тому центральна рекомендація звіту — локальна валідація на власних матеріалах Оцінювання установи. Два висновки узагальнюються за межі цього корпусу. По-перше, надійність і згода розходяться: кожна модель переоцінювала майже тотожно (ICC 1.00, 1.00, 0.97), і моделі погоджувалися між собою тісніше, ніж з людьми (ICC трьох моделей 0.91), проте всі три погоджувалися на смузі ступеня лише для 56 відсотків подач — самопослідовність — це не валідність. По-друге, оцінки ШІ стискалися до середини шкали (оцінка компресії 0.47–0.82, із переходом, де ШІ і людина погоджуються в середньому, у верхніх 50-х — низьких 60-х), роблячи ШІ найменш точним точно на межах оцінок, що відокремлюють Firsts від Upper Seconds і складання від нескладання. Багатство словникового запасу, сполучники, складність речень і довжина тексту передбачали оцінки ШІ з малими, але суттєвими ефектами, тоді як їхнє відношення до людських оцінок було здебільш незначущим, — пряме підтвердження занепокоєння щодо мовної упередженості, і таке, якого не зняла жодна перевірена стратегія підказок.

AES як навчальний сигнал, а не суддя. Моделі оцінювання зазвичай вивчаються як оцінювачі, але SWIM використовує одну як функцію винагороди: Do, Kontak and Sachan (2026) заморожують багаторисовий верифікатор AES і оцінюють його проти згенерованих студентських есе, перетворюючи передбачений профіль рис на щільну поесевину винагороду (середня нормалізована на риси відстань від цільового профілю) для GRPO, навмисно не саму метрику Quadratic Weighted Kappa, оскільки QWK визначена над пакетом пар «ціль–прогноз» і не є поесевинним сигналом, тоді як винагороди за точний збіг занадто рідкісні в багаторисовому налаштуванні. Прирости були перевірені проти скорера DeBERTa та верифікатора, що використовувався лише для оцінки, проти якого політика ніколи не навчалася (0.598 проти 0.479 для SFT і 0.647 проти 0.501), і це та перевірка, яка відокремлює справжній контроль володіння від адаптації до моделі винагород. Для досліджень AES це друга вимога валідності: скорера, використаного як навчальна ціль, проти якої відбувається оптимізація, тому його власне зважування рис і мовні упередження поширюються на все, що вивчає генератор, — ті самі асиметрії зважування особливостей (граматична точність, лексична витонченість і синтаксична складність зважуються моделями більше, ніж людськими оцінювачами), задокументовані в іншому місці цієї сторінки, тепер формують навчання, а не лише оцінки. Оцінювання і зворотний зв’язок хочуть різних методів, тому система має їх відокремлювати. Labib et al. (2026) побудували одну систему для аргументованих есе TOEFL як три модулі — оцінювання, зворотний зв’язок на рівні поверхні за граматикою та механікою та зворотний зв’язок на глибинному рівні за організацією, узгодженістю та аргументацією, — замість однієї моделі, що виконує всі три завдання, і виявили, що те, що виграє на одному модулі, програє на іншому: наглядене дообучення GPT-4o на 120 із власного набору 480 есе, оцінених за еталоном, із тестуванням на решти 360 досягло квадратичної зваженої каппи 0.84 і RMSE 0.44 на шкалі 0–5, попереду базової лінії Wang and Gayed (2024) (QWK 0.78, RMSE 0.57), проте те саме дообучення дало непридатний вихід для модулів зворотного зв’язку, де саме пряме підказки Claude 3.7 створювали схвалені викладачами коментарі.

Зв’язки з пов’язаними поняттями

AES сидить на перетині Автоматизоване оцінювання, освіти з письма та Генеративний ШІ. Він пов’язується з Формативне оцінювання, коли використовується для зворотного зв’язку, а не для оцінювання, із циклом зворотного зв’язку, коли інтегрований в ітераційні процеси письма, та з ШІ-грамотність, коли освітяни розуміють і калібрують інструменти AES. Поняття Валідність оцінювання та Освітнє вимірювання є суттєвими для забезпечення того, щоб оцінки AES були змістовними та справедливими.

  • Згода, похибка і те, що додає гібридний скорер. В малому корпусі маркетингового письма з відкритим закінченням LLM перевершував і детерміновані правила, і гібрид із однаковою вагою за абсолютною згодою з людськими оцінювачами (ICC(2,1) .435 проти .266 і .091), причому гібрид був значно гіршим за саму LLM, тоді як дисперсія оцінок і єдина майже порожня відповідь показали, наскільки сильно такі оцінки залежать від складу корпусу (Agreement and error in automated scoring of student marketing posts).

Відкриті системи є частиною цієї картини теж: AiAWE оцінює аргументовані есе за допомогою адаптованого за LoRA Gemma-3-27B-it, досягаючи QWK 0.828 і згоди в межах ±0.5 від людської оцінки на 90.56% із 360 оцінюваних есе, — і повідомляє, що масштаб моделі не передбачав надійно нисхідної продуктивності за адаптації LoRA (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models).

Пов’язані поняття

Пов’язані статті

Метадані

ДисциплінаWriting Education
РівеньHigher Ed, K 12
Технології та методиГенеративний ШІ, Великі мовні моделі (LLM), Інженерія підказок
Оцінювання та вимірюванняОцінювання, Автоматизоване оцінювання
Основи ШІ в освітіШІ-грамотність
SourceHistoryEditChat

Вставити цю сторінку

Скопіюйте наведений нижче код, щоб вставити цю сторінку в систему управління навчанням або на інший вебсайт. Вбудована версія показує лише вміст сторінки — вона приховує заголовок сайту, навігацію та колонтитул.