Как да направим AI по-добър в подкрепата на ученето в собствената ни дисциплина?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Задачата в системата казва „фино настройте модела върху материалите на курса“. Бюджетът е одобрен, GPU е запазен за следващия месец, а докторант е помолен да сглоби набор от данни. Никой в разговора не е попитал какво постига обикновена подкана или какво постига търсене по ключови думи на същите въпроси.

Задай тези два въпроса първо. В тази база от знания разликата между общ модел и модел, компетентен в курса, е предимно проблем на основа и подкани, а доказателството за тази подредба е необичайно директно: изследване на асистент за курс установи, че извличането, а не моделът, е решението от първи ред, а общ модел без основа се представи под обикновена базова линия TF-IDF.

Обучението е реално и понякога необходимо. То е третото или четвъртото нещо, което да опиташ, а работата по-долу е подредена така, че да разбереш кой етап всъщност ти трябва, преди да похарчиш изчислителния ресурс за тримесечието.

Накратко

1. Запиши какво постига обикновена подкана и какво постига тривиален лексикален метод, преди да промениш каквото и да е. Второто число е онова, което те държи честен.

2. Сложи извличане върху собствените си материали пред модела. Това е най-големият единичен прираст, съобщен тук спрямо цената, и е обратим.

3. Инженерствай подканата срещу рубриката си и итерирай, докато подобрението спре. Платото е сигналът, че обучението може да добави нещо.

4. Приспособи теглата с LoRA, когато целта е стабилна и тясна: формат, рубрика, ниво на четене, дисциплинарен речник.

5. Обучавай допълнително, когато проблемът е поведение, а не съдържание, и напиши наградата срещу бенчмарк, който очакваш да бъде изигран.

6. Изгради обучителния набор на ниво стъпка. Данни само с отговори не преподават заблуда.

Вземи базова линия, която наистина можеш да победиш

Преди да промениш каквото и да е, запиши какво връща обикновена подкана. После запиши какво връща тривиален метод.

Изследването на асистента за база от знания на курс си струва четенето само заради това. Локален LLM без извличане достигна 52,3% точност. Базова линия TF-IDF, лексикален метод на десетилетия, достигна 55,4%. Моделът беше по-лош от класическия метод.

Пропусни тази стъпка и не можеш да разбереш дали финото настройване е помогнало. По-лошо, можеш да пуснеш система, която търсене по ключови думи побеждава, и да разбереш само когато асистент по преподаването го спомене. Две числа в таблица, взети за един следобед, пазят останалата част от бюджета.

Основи модела в собствените си материали

Добавянето на генериране с допълване чрез извличане върху материалите на курса, без никакво фино настройване, вдигна същата тази система от 52,3% на 66,6%. Този прираст дойде от индекс и идва със свойство, което едно обучение няма: когато документите ти се променят, преиндексираш.

Два други резултата сочат натам. Преглед по PRISMA на 23 емпирични изследвания за приспособяване на AI за преподаване на писане установи преобладаване на инженерството на подканите (N = 13) пред финото настройване (N = 7) (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). Където една база от знания трябва да остава актуална, извличането е единственият лост, който остава актуален без повторно пускане на обучение.

Извличането има и педагогическа форма. Основаването на модел в твоите собствени решени примери и рубрики е начинът да остане вътре в скафолда, който си проектирал, отговаряйки на нивото, което си задал, вместо да се отнася в общи съвети. Това отклоняване е най-честата жалба за готови асистенти и е проблем на извличането по-често, отколкото проблем на теглата.

Пиши подканата срещу рубриката си и следи за платото

Работата с подкани не е предварителна подготовка, която вършиш, докато чакаш GPU. Два резултата показват какво постига сама:

• Насочваното от рубрика подканване, итеративно съвместно усъвършенствано, вдигна съгласието между LLM и човек върху студентски дизайнерски работи от 54,75% на 81,25% (алфа на Cronbach от 0,393 до 0,798), без никакво фино настройване (From evaluation to emulation: LLMs as agents of iterative pedagogical design).
• Подкана, изградена върху литература, предизвика целевите математически заблуди с 0,98 присъствие срещу 0,40 при широка подкана (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).

Практическият сигнал е платото. В изследването за генериране на елементи итеративното усъвършенстване на подканата спря да подобрява, а финото настройване на GPT-4.1 върху оптимизираната подкана добави оставащия прираст (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment). Плато след истинска работа с подкани е доказателство, че обучението има място да добави нещо. Посегнеш ли към обучение, преди да си стигнал до плато, гадаеш, а гадането струва месец.

Забележи какво предполага резултатът за генерирането на елементи относно последователността. Финото настройване беше изградено върху оптимизираната подкана, така че работата с подкани не беше прахосана, когато екипът в крайна сметка обучи. Евтиният етап е и спецификацията за скъпия.

Приспособи теглата, когато целта е стабилна и тясна

Приспособяването се изплаща, когато ти трябва моделът надеждно да държи свойство: ниво на четене, формат на изхода, област, която му липсва. Повтарящият се резултат е, че целенасочеността бие размера.

• Три модела с 8B параметъра, фино настроени върху експертно проектирана детска учебна програма по четене, превъзхождаха GPT-4o и Llama 3.3 70B без примери по показатели, свързани с трудността, с незначителни проблеми за безопасността. Авторите рамкират това като контролируемост вместо мащаб (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).
• Набор от инструкции с 24 795 примера, основан на индийски системи от знание, произведе фино настроен 7B модел с 6,39 от външен панел от петима съдии, в рамките на 0,15 от силен общ референтен модел при част от разходите за внедряване. Същият базов модел получи почти нула по специфичните за областта измерения без финото настройване (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). Тази разлика между компетентен общо и компетентен тук е целият аргумент за приспособяване към област.
• Един LoRA адаптер, обучен върху около 3 900 обединени оценени примера, докара пет малки отворени модела (от 4B до 30B) до равенство или по-добре с човешки оценител в два изпита по компютърни науки (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). Един адаптер, един набор от данни, няколко базови модела: това е формата на внедряване, която малък екип може да поддържа.

Думата стабилна в заглавието носи тежестта. Форматът, рубриката, нивото на четене и дисциплинарният речник са стабилни цели. Натоварената с преценка проза няма такава цел и точно там приспособяването се проваля, както показват следващите два раздела.

Промени поведението, когато отговорите са проблемът

Приспособяването учи модела какво да произвежда. Постобучението го учи как да се държи. За асистента това разграничение е целият проблем: общите модели са постобучени върху човешко предпочитание за полезност, което значи да отговарят веднага, а преподаването изисква задържане на отговора.

Най-силните образователни резултати в този корпус живеят тук. Моделът за награда на EduQwen изрично приоритизира насочващи отговори пред директни отговори, а триетапният му поток достигна 96,52% на бенчмарка CDPK срещу 90,55% на Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Симулаторът за писане на SWIM премина от подканване с основа в рубриката (най-добър QWK 0,577) през фино настройване с учител (0,474 ± 0,023) до обучение с подкрепление (0,618 ± 0,005) по всяка характеристика и подкана (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Чети числата на SWIM внимателно, защото средната стъпка върна назад. Финото настройване с учител върху демонстрации направи симулатора по-лош от подканата, с която започна, и само сигналът за награда възстанови загубата и после победи базовата линия. Ако планът ти спира на финото настройване с учител, планът може да е заобиколен път.

Надзиравай на ниво стъпка

Една находка тук е лесна за пропускане и скъпа за пренебрегване: качеството на надзора бие количеството му. Моделите, обучени с инструкции, научиха алгебрични заблуди само когато бяха обучени върху следи от решения на ниво стъпка. Обучени само върху финални отговори, точността остана под 30% при всеки размер на данните (Misconception Acquisition Dynamics in Large Language Models).

Ако обучителните ти примери са двойки въпрос и правилен отговор, обучаваш грешното нещо и добавянето на примери няма да го поправи. Трябва ти междинната работа: грешният завой, стъпката, на която студентът се е отклонил, поправката. Събирането ѝ е проблем на инженерство на данни с педагогическо ограничение и обикновено значи да записваш сесии, вместо да събираш ключове с отговори.

Където приспособяването тихо се проваля

Това е частта, която ентусиазмът пропуска.

Натоварен с преценка текст. В WrAFT същият проект, който се настрои фино успешно за оценяване на есета (QWK 0,84), произведе отрязан и неразбираем изход, когато се настрои фино за обратна връзка, докато директното подканване на Claude 3.7 произведе обратната връзка, която учителите оцениха най-високо (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). Финото настройване научи модела да уцелва оценка и оценяването беше единственото, което научи.

Пренос между модели. Мащабът не е надежден предсказател за представянето след това при приспособяване с LoRA, а идентични хиперпараметри произведоха качествено различно поведение при различни архитектури (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models). Рецепта, която е работила на един модел, не е рецепта.

Архитектура пред брой параметри. Финото настройване на три отворени модела текст-към-изображение върху 1 000 описани изображения от ядрено инженерство значително подобри Stable Diffusion XL, даде ограничени подобрения за SD-v3.5-Medium и не произведе никакво измеримо подобрение за Flux.1 (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts).

Проблемът беше валидирането. Ненастроен GPT-4 от челните модели произведе около 35% твърде общи, неправилни или разкриващи отговора подсказки, когато създаваше обратна връзка за асистент, а собствените му автоматични проверки за качество се разминаваха с човешката преценка (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models). Това е проблем на филтриране и LoRA няма да го реши.

Образецът при четирите случая е един: приспособяването надеждно движи модела към цел, която можеш да специфицираш и оцениш. То не добавя преценка и поток, който няма проверка, все още ще пуска лош изход.

Планирай приспособяването честно

За етапа на приспособяване летвата е по-ниска, отколкото повечето екипи предполагат: от няколкостотин до няколко хиляди примера и един GPU. LoRA обучава малък брой добавени параметри и оставя базовите тегла замразени, така че няколко модела могат да се обслужват от един адаптер.

Рангът е компромис, а не копче за максимизиране. Прирастът на милион параметри на адаптера падаше монотонно с покачването на ранга, а съгласуването на ниво курс беше решение за мащаб и ранг, а не безплатно подобрение (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects).

Кои слоеве приспособяваш също е истински избор. Обновяването само на последните четири слоя на Transformer в анализатор на дискурс, базиран на BERT, победи и приспособяването само на горния слой, и финото настройване в пълна дълбочина (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model). Три конфигурации, три различни резултата, и най-евтината победи.

Разходът, който е лесно да подцениш, е оценяването, което е по-голямо от сметката за изчисления. Виж Как да разберем дали един образователен AI работи правилно, а не просто дава добри оценки?

Калибрирай очакванията си

Изборът на модел и на подкана заедно обясняват само около 15% от разминаването между LLM и учебните постижения на студентите, а в това изследване бенчмарково претегляне и ансамбли с единодушно гласуване направиха съгласуването по-лошо (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). Данните от предварителното обучение са доминиращият лост за това как се държи един модел и са единственият лост, който не можеш да дръпнеш.

Нищо от това не е аргумент срещу работата по-горе. То е аргумент срещу очакването, че финото настройване ще поправи проблем на дизайна. Ако проблемът е, че асистентът ти отговаря твърде охотно, обучението може да се заеме с него. Ако проблемът е, че обучаемите ти не се ангажират с него, обучението няма да помогне, а числото 15% казва, че парите се харчат по-добре другаде.

Какво екипите разбират погрешно

Финото настройване е начинът да научиш модела на курса си. Извличането върху собствените ти материали вдигна същата система от 52,3% на 66,6% без никакво обучение, а подкана, усъвършенствана срещу рубрика, вдигна съгласието от 54,75% на 81,25%. Обучението преподава поведение и формат много по-надеждно, отколкото преподава съдържание.

По-голям базов модел премахва нуждата от всичко това. Модел с 8B, фино настроен върху детска учебна програма по четене, победи GPT-4o и Llama 3.3 70B без примери по показатели за трудност, а фино настроен 7B модел се приземи в рамките на 0,15 от силен общ референт при част от разходите за внедряване. Размерът и прилягането са различни оси и само една от тях се продава на токен.

Повече данни ще поправят обучителен набор, който е изграден грешно. Надзорът само с отговори остави точността под 30% при всеки размер на данните в изследването за заблудите. Мащабът не поправя цел, на която липсва информацията, от която моделът се нуждае.

Рецепта, работила на един модел, ще работи на следващия. Идентични хиперпараметри произведоха качествено различно поведение при различни архитектури, а същият метод на фино настройване подобри значително един модел за изображения и не направи нищо измеримо за друг. Пусни рецептата отново на базовия си модел или гадаеш.

Финото настройване с учител е безопасната средна стъпка преди обучението с подкрепление. В SWIM надзираваният етап получи 0,474 срещу 0,577 от подканата, която замени, и само сигналът за награда го възстанови. Средната стъпка може да ти струва месец и регресия.

Какво ще ти се върне

„Бюджетът е одобрен за фино настройване, така че нека настроим фино.“ Похарчи седмица за базовата линия и индекса първо. Ако извличането мести числото, финото настройване е по-късно решение, взето с по-добра информация, и ще имаш по-силен аргумент за него или добра причина да върнеш GPU.

„Проблемът ни е, че студентите не го използват.“ Обучението променя какво произвежда моделът. Числото 15% описва колко обясняват изборът на модел и на подкана в разминаването с учебните постижения, а ангажираността стои извън него. Измери къде студентите отпадат, преди да купиш изчисления.

„Не можем да пращаме студентска работа към API на доставчик.“ Най-силният резултат с LoRA тук дойде от отворени модели в диапазона от 4B до 30B и един адаптер обслужи няколко от тях. Тази форма на внедряване е достъпна за екип с един GPU и без споразумение за обработка на данни.

„Подканването е хак; истинската работа е обучение.“ Прегледът на 23 изследвания за преподаване на писане установи подканването като доминиращ подход и финото настройване след него, а най-големият съобщен прираст на тази страница дойде от индекс. И прегледът, и изследването на асистента за курс подредиха тези етапи по измерен прираст.

„Опитахме подканване и то стигна до плато, така че ни трябва обучение.“ Това е правилното четене и е единственият случай, в който изкачването е оправдано. Вземи оптимизираната подкана във финото настройване, както направи екипът за генериране на елементи, и очаквай прирастът да е по-малък, отколкото беше работата с подкани.

„Материалите ни за курса са непоследователни, така че извличането ще върне боклук.“ Ще върне, и извличането наследява качеството на корпуса. Почистването на корпуса е по-евтино от обучение на модел да го заобикаля, а прирастът от 52,3% на 66,6% беше измерен върху обикновени материали за курс, а не върху подбран набор.

Какво да направиш тази седмица

1. Пусни базова линия само с подкана и базова линия с ключови думи върху 50 реални въпроса от курса си и запиши двете числа.

2. Насочи извличането към материалите, които вече имаш, и пусни същите 50, така че прирастът да се измерва срещу собствената ти базова линия.

3. Сложи рубриката в системната подкана и итерирай една седмица. Спри, когато два кръга не добавят нищо.

4. Одитирай обучителния си набор за следи на ниво стъпка. Ако е двойки въпрос и отговор, наборът не е готов.

5. Напиши единственото свойство, което ти трябва да се държи надеждно, и реши дали е поведение или съдържание. Това решение избира етапа.

Накъде след това

Как да обучим AI асистент да насочва студентите, вместо да им отговаря? покрива половината за постобучението подробно. Как да разберем дали един образователен AI работи правилно? покрива как да разбереш дали нещо от това е проработило. Какви са добрите практики за разработване на ефективен AI асистент? е страната на дизайна на взаимодействието в същата цел, а Какви са добрите практики за проектиране на образователен AI софтуер? покрива обкръжаващата система. Пълната концептуална страница е обучение и фино настройване на LLM.