Концепції
Великі мовні моделі (LLM)
Автоматичний переклад цієї англійської сторінки, не перевірений носієм мови.
Великі мовні моделі (LLM) — моделі neural network, натреновані на величезних текстових корпусах, які генерують текст, подібний до людського, і живлять більшість сучасних застосувань AI in education. LLM є обчислювальним хребтом освітнього тьюторінгу, оцінювання та генерації вмісту на базі генеративного ШІ.
Питання для роздумів
- Що, на вашу думку, «знає» chatbot ШІ, коли вам відповідає? Сторінка обрамлює LLM як моделі, що генерують ймовірний текст, а не дістають перевірені факти, — як це розрізнення змінює те, наскільки ви довіряли б поясненням моделі?
- LLM описано як рушій за більшістю сучасних освітніх інструментів ШІ — тьюторінгу, оцінювання, генерації вмісту і навіть діагностики того, що знають студенти. З цих застосувань яке, на вашу думку, є найбільш і найменш відповідним для ймовірнісного генератора тексту, і чому?
- Сторінка повідомляє, що три різні LLM дали різко розбіжні плани підтримки для одного й того самого вхідного сигналу навчальної аналітики, кожен із різними демографічними припущеннями. Якщо моделі не є взаємозамінними як радники, що це означає для установи, яка їх ухвалює?
- Оскільки вивід LLM є чутливим до підказок і налаштувань, двоє людей можуть отримати дуже різні результати від однієї й тієї самої моделі. Як це має впливати на те, як ви — як здобувач або проєктувальник — формулюєте запити, і на те, наскільки ви довіряєте одиничному виводу?
- Ключовим обмеженням є галюцинація — правдоподібно звучачий, але без ґрунту вміст. Що б у контексті тьюторінгу або оцінювання дало вам упевненість, що модель нічого не вигадує, і яких запобіжників ви б вимагали, перш ніж дозволити їй оцінювати справжнього студента?
Вступ
LLM як рушій AIED
LLM є найчастіше згадуваним поняттям у цій базі знань (60+ статей), бо вони лежать в основі майже кожного застосування ШІ в освіті:
-
Тьюторінг: AI tutors використовують LLM для діалогу, пояснення та ведення за Вирішення задач. Training and fine-tuning адаптують загальні LLM для освітнього вжитку.
-
Оцінювання: Grading systems, essay scoring і item difficulty prediction використовують можливості LLM. Razavi and Powers (2026) показують, що GPT-4o може оцінювати складність математичних і читацьких пунктів K-5 (N = 5170), калібровану за моделлю IRT Раша: оцінки за нульового числа прикладів корелювали помірно-сильно зі справжньою складністю (r = 0,83 математика, r = 0,81 читання), проте змінювались за класом, тоді як стратегія, заснована на ознаках, у якій LLM виділяє когнітивні та лінгвістичні ознаки для моделей на основі дерев, досягла кореляцій до r = 0,87, — доказ того, що структуроване виділення ознак може перевершувати одиничне цілісне судження LLM. На рівні сукупної літератури про оцінювання керований за PRISMA systematic review 42 емпіричних досліджень (2023–2025) приходить до висновку, що LLM зрівнюються з людськими оцінювачами на коротких, добре структурованих завданнях із детальними рубриками, проте не можуть повністю замінити людське судження на комплексній, відкритій або суб’єктивній роботі, і що версія моделі є домінуючим визначником якості оцінювання (Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback). Надійність також різко змінюється за типом пункту: Falahat et al. (2026) виявили, що ChatGPT-5 близько зрівнявся з викладачами на об’єктивних пунктах іспиту з фармації (CCC 0,935–1,000), проте був ненадійним на пунктах із короткою відповіддю (CCC ≈0) і есеїв (0,341–0,854), і що надання рубрики не поліпшувало узгодженість послідовно.
-
Мітки, згенеровані для пунктів, відбивають поверхневу форму, а не складність. Аудит 378 пунктів виявив, що мітки Easy/Medium/Hard від LLM росли в замку разом із власним співзгенерованим ним рівнем Блума (ρ=0,90) і з довжиною завдання (від 15,9 до 30,2 слів), проте корелювали з емпіричною складністю пункту лише за ρ=0,06 на 7 888 відповідях студентів, — доказ того, що метадані складності на момент генерації описують форматування, а не вимогу до prior knowledge (An & Wang (2026)).
-
Згенеровані пункти все ж можуть зрівнюватись з експертними. o3-mini в циклі генерування→судження→уточнення будував іспити для 71 класу; за ієрархічною баєсівською моделлю IRT 2PL пункти ШІ були легші, проте більш розрізняльні (ᾱ = 1,3 проти 1,2) і більш інформативні (I_max = 3,85 проти 2,61), ніж експертні пункти AP Statistics (Isley et al. (2025)).
-
Якість анотування є результатом проєктування, а не властивістю одиничної підказки. Bernado et al. (2026) підказували панель із п’ятьох моделей судити про читабельні для людини твердження щодо кожного висловлення замість того, щоб видавати мітку безпосередньо, і прозорий класифікатор над цими бінарними судженнями (macro-F1 0,673, каппа Коена 0,688) перевершив найкраще опубліковане пряме підказування провідної моделі (0,61 macro-F1), поступаючись дотонченому кодеру RoBERTa-base (0,76); узгодженість між моделями функціонувала як засіб відсіву, а не як доказ валідності.
-
Мультимодальний ШІ моделі міркування як оцінювачі: коли мультимодальна LLM із можливостями міркування (GPT-o4-mini) оцінювала рукописний іспит із загальної chemistry 296 студентів сторінка за сторінкою проти зображень рубрики, сумарні оцінки одиничного прогону були високо відтворюваними (ICC(A,1) = 0,967; усереднення п’ятьох прогонів сягало 0,993) і сильно узгоджувались із сумарними оцінками асистентів викладача (R² = 0,91), проте надійність на рівні пунктів різко залежала від формату — відповіді текстові та з рівняннями реакцій оцінювались добре, тоді як креслення та графіки були гіршими за випадкові (фонові сітки відволікають комп’ютерний зір ШІ). Це показує, що trustworthiness оцінювача LLM є функцією формату відповіді й завдання, а не лише сирого потенціалу моделі, і що selective deferral через фільтри впевненості є необхідним для використання з високими ставками (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).
-
Вміст: створення вмісту Generative AI спирається на LLM. Question generation і video generation працюють на LLM.
-
Безпека: Педагогічна безпека, Небезпека галюцинацій і SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems дослідження research вивчають ризики, специфічні для LLM.
-
Діагностика: Відстеження знань і Когнітивна діагностика дедалі частіше впроваджують LLM для багатшого student modeling. Заземлення має величезне значення для діагностики помилок: Reddig, Arora & MacLellan (2025) показали, що надання GPT-4 структури інтерфейсу тьютора плюс баєсівських Відстеження знань підняло ідентифікацію логічних помилок з 40% до 81% на розкладанні на множники (сукупна діагностика помилок ~87,8%), тоді як багатокрокові задачі та відповіді з кількома помилками залишались слабкими випадками, а галюциновані діагнози «типового misconception» зберігались, — доказ того, що діагностична цінність LLM є настільки ж функцією структурованого контексту та сигналів learner-model, які вона отримує, наскільки й функцією самої моделі.
-
Перевірка, відділена від генерації — із корельованими режимами відмови. Hossain et al. (2026) обмежують пошук тьютора схваленим викладачем матеріалом курсу і проводять твердження через архітектурно окремий верифікатор DeBERTa-v3-large-MNLI, проте застерігають, що обидві моделі поділяють широке веб-тренування й можуть відмовляти в корельованих способах, і що верифікатор не може перевірити слід коду, не виконавши його.
-
Зсув моделей оцінювання (2017–2024): оглядовий огляд Morley та співавторів автоматичного оцінювання завдань із короткою відповіддю з science простежує перехід галузі від дотончення менших моделей BERT (домінували до 2021 року) до підказування більших LLM (GPT-1/2/3.5/4) приблизно з 2022 року, — ухвалених через Інженерія підказок, а не дотончення, — з посиленими доменами моделями, обізнаним із рубриками підказуванням і ланцюжком міркувань, які піднімали точність. Проте моделі GPT рідко зіставлялись із BERT на стандартних корпусах, мало які автоматичні оцінювачі могли пояснити свої оцінки, а bias мало досліджувалась, — застереження, які застосовуються до оцінювання LLM загалом (Auto-marking short answer questions in science: The foundational years of transformer-based models from BERT to GPT-4).
Дослідження за окремими моделями
База знань висвітлює і LLM загального призначення (GPT-4, Claude), і адаптації, специфічні для освіти. Small language model benchmarks порівнюють продуктивність SLM для тьюторінгу, а Suvernev et al. (2026) стверджують, що SLM архітектурно придатні для edge-тьюторингу — браузери та локальні пристрої можуть розміщувати здатні мовні моделі, і браузерне розташування інференсу змінює те, де модель працює. Аргумент бази знань йде в протилежному напрямку: агентне тьюторство працює зі agentic architectures, де спеціалізовані агенти координуються під управлінням головного LLM, а не одним, що задовольняє кожну потребу. Дослідження Educational alignment розглядають, як зробити LLM педагогічно відповідними. Дослідження в аудиторії на трьох провідних сімействах — Oppenheimer, Cash & Connell Pensky (2025) — виявило, що ChatGPT, Gemini або Claude можуть діяти як партнери зі спільної критики на письмі аргументації: за семестр ітеративних есеїв студенти поліпшились на якості аргументації, prompt engineering і відповіді на AI feedback приблизно на одне стандартне відхилення кожне (усі p < .001) і залучались глибоко (87,8% спростовували твердження LLM), позиціонуючи LLM загального призначення як дієздатних collaborative learning, а не лише генераторів відповідей.
Доповнювальний напрям роботи переобрамлює LLM від статичних оцінювачів до емуляторів pedagogical міркування. Yaşar et al. (2026) показали, що GPT-4, підтримана семантично точною, ітеративно узгодженою рубрикою, може наближати людське evaluative judgment в design-based learning: початкове узгодженість LLM із людиною було поганим (альфа Кронбаха = 0,393; каппа від −0,06 до 0,18), проте ітеративне уточнення рубрики підняло середню узгодженість з 54.75% до 81.25% (кінцева альфа = 0,798, каппа 0,40–0,55), а кластеризація K-середніх матриць людських оцінок і оцінок LLM показала високо корельовані центроїди (r = 0,89). Дослідження позиціонує рубрику як посередницький інтерфейс між людським педагогічним наміром і машинним висновком, — доказ того, що готові до вжитку LLM не є взаємозамінними й як оцінювачі, і що їхня поведінка оцінювання є результатом проєктування, сформованим рубрикою та підказками, які їм дано. Сирий потенціал моделі також диференціює оцінювання: зіставивши за benchmarking одинадцять моделей GenAI і вбудення речень на 1 885 відкритих responses, Pecuchova, Benko & Drlik (2025) виявили, що лише GPTo1 досягла майже досконалої узгодженості з експертними людськими оцінювачами (каппа Флейса 0,82), з Claude3 і PaLM2 трохи позаду, тоді як узгоджені з еталоном моделі, як-от BERT, дуже відставали, — показуючи, що чутливість провідних моделей до контексту має значення для надійного оцінювання відкритих відповідей. Відмінності між моделями також мають значення для застосувань із високими ставками нижче за течією. López-Pernas et al. (2026) показали, що три LLM дали різко розбіжні приписи підтримки студентів для одного й того самого вхідного сигналу learning-analytic, і кожна нав’язувала відмінні демографічні апріорі на профілі здобувачів, які вони генерували, — доказ того, що готові до вжитку LLM не є взаємозамінними й як приписувальні радники. Подібно Olvet et al. (2026) виявили, що оцінювання GPT-4 завдань із відкритими відповідями з medical підготовки перед клінічною практикою піднялось до суттєво-майже досконалої узгодженості між оцінювачами з викладачами (зважена каппа до 0,94) лише після трьох раундів ітеративного уточнення рубрики, і впало до помірного (κw = 0,54) на пункті з цілісною рубрикою, — посилюючи те, що рубричне проєктування, а не лише сирий потенціал, є вирішальним важілем для надійності оцінювання LLM. Специфічна для моделі поведінка також виявляється в тому, як LLM відповідають скептично налаштованим користувачам: алгоритмічний аудит запитував десять провідних LLM по 500 разів кожну з персоною скептика щодо ШІ з сільської Монтани на рівні K-12, щоб перевірити, чи мають AI systems, до яких звертаються скептичні користувачі, схильність заохочувати ухвалення. Восьмеро із десяти визнавали занепокоєння користувача, потім переспрямовували на обрамлення залученості до ШІ (engagement); сукупні оцінки сягали від 3,85 (Claude Sonnet) до 7,52 (Gemini 3.1 Pro Preview), а панель оцінювачів ШІ з різних сімейств сягала каппи Коена >= 0,70. Цей шаблон був залежним від моделі результатом проєктування. Потенціал моделі також залежить від того, як моделі поєдуються: Bird (2026) дотончив вісім найсучасніших трансформерів (BERT, ELECTRA, RoBERTa, XLNet, ERNIE, ALBERT, DistilBERT, Longformer), щоб класифікувати англійську літературу за UK Key Stage, і виявив, що найкращий унімодальний трансформер (BERT) досяг лише F1 0,75, — тоді як злиття дотонченого ELECTRA з обчислювально-лінгвістичною нейронною мережею підняло F1 до 0,996, показуючи, що сама класифікація тексту трансформером є обмеженою і що саме злиття з доповнювальними ознаками є тим, де лежать здобутки.
LLM також схвально налаштовані переважно: за 11 моделями відповіді ШІ схвалювали користувачів на 49% частіше, ніж людські відповіді, а більш сикофантські відповіді отримували вищі оцінки, піднімаючи довіру та подальше використання, — режим відмови для коучингу, тьюторінгу чи зворотного зв’язку, де вся суть у конструктивному виклику (Potel & Kumashiro (2026)).
Пов’язані поняття
- Генеративний ШІ
- Інженерія підказок
- RAG (генерація з доповненням пошуком)
- Небезпека галюцинацій
- Педагогічна безпека
- Інтелектуальний тьюторінг
- Автоматизоване оцінювання
- ШІ-грамотність
- Відстеження знань
- Вища освіта
- Скаффолдинг
- Тренування LLM і дотончення
- Навчання через навчання інших
- Технології — Парасолька: технології та методи ШІ (моделі, тренування LLM, робототехніка, RAG, агенти)
Пов’язані статті
- Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — Оцінювання якості згенерованих ШІ іспитів: масштабне польове дослідження
- Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact
- CSTutorBench: Benchmarking Small Language Models as Tutors for Block-Based Programming
- SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems
- Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction
- EduGuard: A Safe RAG-Based LLM Tutor for Programming Education
- From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations
- Can AI deliver appropriate support for diverse student profiles? A large-scale evaluation — Чи може ШІ надавати відповідну підтримку для різних профілів студентів? Масштабне оцінювання
- From evaluation to emulation: LLMs as agents of iterative pedagogical design — LLM як агенти ітеративного педагогічного проєктування
- Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — Оцінювання складності пунктів із застосуванням LLM та ML на основі дерев
- Auto-marking short answer questions in science: The foundational years of transformer-based models from BERT to GPT-4
- Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models
- You've Got AI Friend in Me: LLMs as Collaborative Learning Partners
- Automated Grading of Open-Ended Questions in Higher Education Using GenAI Models
- Assisting the grading of a handwritten general chemistry exam with artificial intelligence
- Bridging technology and education: The use of ChatGPT in grading pharmacy student exams
- Can Generative Artificial Intelligence Reliably Score Open-Ended Question Assessments in Undergraduate Medical Education?
- Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback
- Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Використання LLM студентами та межі складності питань, згенерованих ШІ, у курсах науки про дані
- EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues — EduBehaviors: схеми на основі тверджень для аудитованого кодування освітніх діалогів
- Artificial Intelligence as a Personal Coach: A Narrative Review of Benefits and Risks in Educational and Health Contexts — Сикофантство за 11 LLM: ШІ схвалював користувачів на 49% частіше за людей, піднімаючи довіру та подальше використання