Кои са добрите практики за разработване на ефективен AI учител?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

AI преподавателят ти е на три седмици от пилот. Чатът работи, моделът обяснява чисто една производна, а вътрешната демонстрация получи аплодисменти. После някой от центъра за преподаване задава въпроса, за който спецификацията ти няма поле: след семестър с това нещо ще решат ли студентите задача, когато то не е в стаята? Това, което имаш, е списък с функции. Това, което нямаш, е едно изречение, което казва какво трябва да може обучаемият сам накрая.

AI преподавателят е политика, обвита около чатбот, и политиката решава дали се случва учене. Назови когнитивната работа, която обучаемият трябва да свърши, накарай системата да я изисква (опит преди помощ, стълбица от подсказки, която отпада, проверка, която моделът не може да имитира), и оценявай с изключен учител. Качеството на модела определя колко добре се усеща разговорът. Политиката решава какво може студентът през юни.

Накратко

1. Напиши целта като твърдение за представяне без помощ и изведи всяка функция от нея. Ако една функция не може да се проследи до това изречение, тя е демонстрационна функция.

2. Изгради модела на обучаемия от доказателства, които можеш да записваш, и пази всяка диагноза като хипотеза със стойност на увереността, а не като факт.

3. Фиксирай стълбицата на помощта в кода, с именувани стъпала, и накарай интерфейса да таксува обучаемия нещо за всяка стъпка надолу по нея.

4. Основавай съдържанието в собствените си материали и повери аритметиката, алгебрата и проверката на код на детерминистични инструменти, които не могат да халюцинират.

5. Тествай преподавателските провали върху цели разговори: изтичане на отговори, подмазване, затвърждаване на погрешни представи, инструкционален дрейф.

6. Измервай с фаза на оттегляне и отложен тест, а не с оценка за удовлетвореност.

Напиши целта като твърдение за представяне без помощ

Три списъка, написани преди някой да избере модел:

• Какво трябва да знаят или да могат обучаемите след това.
• Каква когнитивна работа трябва да свършат сами.
• Какво може да направи учителят вместо тях.

Литературата за интелигентното обучение изтъква, че ефективността зависи от педагогическия дизайн, а не само от способностите на модела, а провалът се изгражда лесно по случайност. Учител, оптимизиран за „довърши задачата“, ще подкопае учител, оптимизиран за „научи се да решаваш задачата“, като същевременно минава всеки функционален тест, който напишеш, защото и двата произвеждат верни крайни отговори. Разликата живее в това какво е направил студентът между въпроса и отговора.

Вторият списък е мястото, където екипите за разработка стават конкретни. Вземи етикет за овладяване като „овладяване на производната“ и откажи да позволиш той да значи произвеждане на вярната производна. Разбий го на разпознаване кога производната е уместна, тълкуването ѝ като моментна скорост на изменение, избора на правилото, изпълнението на процедурата, обясняването защо изборът е бил правилен, проверката за разумност и прилагането ѝ към непозната задача. Всяко от тях е отделно нещо за записване и всяко предполага различен отговор, когато липсва. Това разлагане е и защитата срещу капана на верния отговор, при който обучаемият стига до верния отговор чрез погрешно разсъждение, а аналитиката ти записва успех. Catching the Correct Answer Trap и When Help is Unhelpful описват и двете версии на този провал в реална употреба.

Изгради модела на обучаемия преди разговора

Моделът на обучаемия пази два вида състояние: оценки по концепция (граница: в процес, правило за степен: овладяно, правило за произведение: в процес, верижно правило: не е показано) и хипотези за погрешни представи с доказателствата и увереността зад всяка. Дръж ги отделно. Оценката по концепция е това, което движи избора на трудност. Хипотезата е това, което движи следващия въпрос.

Внимавай, когато оставяш LLM да прави диагнозата сам. Сравнителното тестване установи, че LLM учителите разпознават ясно правилно разсъждение, но понякога отхвърлят валидни алтернативи или приемат неправилно разсъждение. Модел, който хваща добрия случай и разчита погрешно двусмисления, се проваля точно при студентите, които се нуждаят от помощта. За области с последствия архитектурата, която оцелява, е структурирана диагноза плюс гъвкав диалог с LLM, подредбата, която описва Confirming Correct, Missing the Rest: твой собствен детектор установява какво вероятно е направил студентът, а моделът пише разговора около тази констатация.

Дай на диагнозата изрична последователност, която моделът не може да прескочи: открий, провери, отговори. Моделът може да предложи погрешна представа като хипотеза, но трябва да я провери срещу действителната работа на студента или с целенасочен въпрос, преди учителят да отговори на нея. Без тази стъпка системата измисля доказателство и после обучава студента за грешка, която той не е направил, което е едновременно безполезно и леко обидно.

Доказателства, които си струва да записваш, в груб ред на полезност: скорошни опити с междинните им стъпки, показано знание по концепция, поведение при търсене на помощ (което само по себе си е сигнал за увереност) и самоотчетена увереност, където я събираш. Адаптирай трудността и помощта от този запис и третирай последната заявка на обучаемия като един вход към него. Една заявка е лош оценител на това какво знае един студент, а учител, който реагира на нея, ще се мята.

Фиксирай стълбицата на помощта, после накарай интерфейса да я таксува

Запиши стъпалата, преди да напишеш заявка, защото стълбицата е продуктово решение с именувани състояния и настройка за тон не може да я изрази. Работеща последователност:

1. Самостоятелен опит.
2. Метакогнитивен въпрос за това какво е опитал студентът.
3. Концептуална подсказка.
4. Посочване на съответното правило.
5. Настройка на част от задачата.
6. Разписана междинна стъпка.
7. Разписано решение.
8. Студентът обяснява решението.
9. Студентът решава сравнима задача без помощ.

Опората отпада с нарастването на компетентността, което е механизмът в центъра на скафолдинга. Да видиш разписано решение не показва овладяване, така че всяка сесия, която стигне до седмо стъпало, ти дължи деветото, преди да се брои за завършена.

Причинното доказателство за изграждането на стълбицата изобщо идва от полеви експеримент, в който неохраняван интерфейс с GPT повиши представянето по математика с помощ и намали следващото представяне на изпит без помощ. Учител, който дава подсказки, до голяма степен премахна това учебно наказание (Generative AI without guardrails can harm learning). Ограничението е архитектурно. Същият модел, с различно поведение при оказване на помощ, даде противоположни резултати по мярката, която има значение.

По-голям рандомизиран полеви експеримент с повече от 6 000 ученици от средното училище на платформа за упражнения, основани на овладяване, показва как изглежда стълбицата в записите. Учениците, на които беше зададена AI подкрепа, напредваха по-бавно и опитаха по-малко въпроси, и отговаряха по-точно. Най-ясният механизъм беше правилността на следващия опит след грешка: бяха нужни по-малко опити за връщане към верен отговор. Тази картина е продуктивно забавяне и е отпечатъкът, който стълбицата от подсказки трябва да остави (Making AI Tutoring Productive).

Същото изследване дава предупреждение за собствените ти табла. Изискването на три верни отговора подред рязко вдигна овладяването, определено от платформата, без да произведе откриваеми печалби на отложен тест седмица по-късно. Най-силното доказателство от отложен тест се появи само там, където AI седеше в рамките на работния процес за овладяване (коефициент 0,085), а не там, където беше наличен като самостоятелен достъп. Ако метриката ти за успех е брояч на поредица, ще пуснеш система, която оптимизира поредицата.

Триенето в интерфейса принадлежи към същия дизайнерски проход. Неограничени подсказки зад видим бутон превръщат цялата стълбица в пряк път, а преждевременните заявки за подсказка с повърхностно четене се свързват с по-ниски учебни резултати. Замяната на [Hint][Hint][Hint][Show Answer] с въпросите „какво опита?“ и „коя част те блокира?“ (избор на правило, настройка на уравнението, извършване на алгебрата, разбиране на концепцията) струва един екран и насочва студента към стъпалото, което наистина му трябва. Тя ти дава и данните в записите, които ти казват кое стъпало прескача по навик.

Повери проверимите части на проверяващ

Основавай генерирането в одобрен от преподавателя материал: раздели от учебник, бележки от курса, разписани примери, терминология, одобрени методи, нотация, правила за задания, политики и учебни ресурси. Генерирането с извличане върху този корпус намалява риска от халюцинации и не го премахва, както излага RAG. Покажи цитати или произход в интерфейса там, където студент може да провери твърдение, защото цитатът е това, което прави основата проверима след факта.

Основаването върши и работа, която метриките за точност пропускат. Курсът има одобрени методи, а учител, който въвежда математически валидна техника, която курсът не използва, е научил студента на нещо, за което ще бъде оценяван по-ниско. Извличането от слоя на курса е начинът учителят да остане в рамките на набора от методи.

За области с формално проверими отговори добави детерминистични инструменти: калкулатори, системи за символна математика, изпълнение на код, графи на знанието, валидатори на базата на правила и предметно специфични решавачи. Разделението на труда е важната част. LLM се занимава с обяснението и диалога. Символният двигател проверява алгебрична еквивалентност, производни, интеграли, решения на уравнения, критични точки и числени приближения. Грешна междинна стъпка, която проверяващият хване, става учебен момент. Грешна междинна стъпка, която нищо не хване, става погрешна представа, която студентът отнася на изпита.

Изисквай от обучаемия да действа по обратната връзка

Обратна връзка, която казва „Вярно“, „Грешно“ или „Браво“, е събитие за оценяване, облечено в интерфейса на преподаване. Базата от знания третира обратната връзка като цикъл предлагане и приемане: обратната връзка подкрепя ученето, когато студентите я разбират и действат по нея, а втората половина е половината, която системите обикновено прескачат. Изгради учителя така, че да назове включената стъпка на разсъждението, да каже какво трябва да се преосмисли, да даде едно конкретно следващо действие и да помоли обучаемия да предвиди или обясни, преди обратната връзка да бъде разкрита.

Последователността, която носи това, е обучаемият първи, AI втори, обучаемият пак. Студентът генерира, избира, обосновава, оценява или размишлява; учителят отговаря; студентът прави нещо с отговора. Проектирай структурата на ходовете така, че това да не е по избор. Система, в която моделът може да произведе три абзаца в отговор на един въпрос, учи студента да пита и да чете.

Дългосрочната цел е интернализация. Обучаемите трябва в крайна сметка да прилагат сами разпитващите стратегии на учителя и стратегиите му за решаване на задачи, което е аргументът за самостоятелността и причината стълбицата да има горно стъпало, където учителят мълчи.

Проектирай за това, което се случва на четиридесетия ход

Педагогическата безопасност е отделен набор от тестове от обичайната безопасност на чатбот и повечето екипи пускат само втория. Токсичността и устойчивостта на jailbreak не ти казват нищо за това дали учителят ще предаде отговор на студент, който пита два пъти, ще се съгласи с грешен метод, защото студентът е звучал уверено, ще излезе от набора от методи на курса през дълга сесия или ще тласне обучаемия към когнитивно изнасяне. Подмазването е това, което минава първо, защото съгласието се чете като доброта, а данните ти за предпочитания го възнаграждават.

Тествай за изтичане на отговори, затвърждаване на погрешни представи, прекомерно съгласие, неподходяща трудност, изнасяне, пристрастно отношение, загуба на самостоятелност на обучаемия, инструкционален дрейф и свръхувереност в неправилни обяснения. Пускай тестовете върху удължени разговори, не върху отделни ходове, защото педагогическите провали се натрупват: първите десет хода могат да са образцови, а единадесетият да съсипе сесията. Учителят трябва да е добър и точен едновременно, включително когато обучаемият настоява на погрешна представа. Педагогическата безопасност и AI Tutor Safety and Pedagogical Harms излагат таксономията на провалите.

Сложи архитектурата на данните в същия дизайнерски документ

Събирай само данни за обучаемия, които са педагогически необходими, и бъди в състояние да кажеш защо съществува всяко поле. Където пазиш трайна памет или модел на обучаемия, направи предназначението ѝ видимо за обучаемия, дай му подходящ контрол върху нея, защити чувствителната информация, определи срок на съхранение и насочи решенията с последствия към преподавател или друга човешка контролна точка. Модел на обучаемия, който тихо натрупва оценка за увереност, която студентът никога не вижда, е проблем за защитата на данните и педагогически проблем.

Одитирай поведението по езиков произход, нива на способност, културни контексти, нужди от достъпност и нива на предварителни знания и опит с AI. Различното представяне при една и съща цел е бъг със студент, прикрепен към него, и той няма да се появи в общото ти число за точност.

Едно решение за достъпност заслужава отделен ред: не прави сложното писане на заявки предварително условие за добро обучение. Ако учителят преподава добре само когато студентът напише внимателна заявка, ти си изградил система, която облагодетелства студентите, които вече знаят как да говорят с модели. Учителят трябва да помага на обучаемите да формулират продуктивни въпроси, което също е умение по метапознание, което си струва да се има.

Инструментирай интервала на оттегляне

Метриките на сесията няма да ти кажат дали нещото работи. Точност на отговорите, дължина на разговора, предпочитание на студентите, удовлетвореност, завършване на задачи и включеност се вдигат при системи, които не преподават нищо, защото студентите харесват помощ и помощта е лесна за измерване. Оценявай представянето без помощ, отложеното задържане, преноса към нови задачи, поправянето на погрешни представи, самостоятелността на обучаемия, приемането на обратната връзка и различните ефекти при различни групи обучаеми. Оценяването на образователен AI има методите, а The Missing Evaluation Axis защитава тезата, че поведението е конструктът.

Две изследвания заострят правилото против самоотчета и кратките хоризонти. Пилот с 38 начинаещи студенти по програмиране намери силна връзка между използването на генеративен AI и възприетото учене (rs=0,802, p<0,001), докато показателите за самостоятелен напредък без подкрепа от преподавател се представиха най-слабо. Авторите наричат разликата илюзия за компетентност и епистемичен дълг и тя е точно разликата, която метриката за удовлетвореност възнаграждава (Generative AI as an Informal Cognitive Tutor).

По-фундаментално, повечето оценяване спира в момента, в който помощта свършва. Динамиката на когнитивното измиване назовава неизмерения интервал след оттеглянето и формализира четири изхода: еластичен отскок, частичен плато, латентен скелет и свръхвъзстановяване. Кривата ѝ на измиване носи константа на времето за възстановяване, член за пълнотата на възстановяването и индекс на хистерезис, който сравнява усилието за преучене с първоначалното усилие. Тъй като обратимостта определя тежестта, рамката твърди, че планираната практика без помощ трябва да се дозира според кривата на възстановяване, вместо да се обсъжда като въпрос на принцип. Планът ти за оценяване се нуждае от фаза на оттегляне, както и от непосредствен посттест, а рандомизираното доказателство, че кратката помощ потиска по-късното представяне без помощ, е причината да я насрочиш рано.

Дай на преподавателите нещо за редактиране

Преди внедряването нека преподаватели тестват реалистични профили на обучаеми, често срещани погрешни представи, гранични случаи, враждебни заявки, двусмислени отговори и дълги учебни разговори. Записвай педагогическите провали и ги връщай в системните заявки, политиките за обучение, източниците на знание, ограничителите, правилата на модела на обучаемия и избора на модел. Гладък отговор може да е педагогически грешен, а преподавателят е единственият проверяващ, който може да го види.

Систематичният преглед на Lee на 29 изследвания в K-12 описва в какво се състои този надзор и къде се чупи. Преподавателската намеса е повтарящ се четирифазен цикъл от наблюдение, преценка, намеса и оркестрация. AI сигналите, таблата и автоматичните оценки „не водят автоматично до педагогическо действие“. Най-силната преподавателска стратегия, която прегледът намира, е педагогическият превод: избиране, преработване, допълване, обобщаване или изтриване на обратната връзка от чатбота, вместо предаването ѝ както е.

Следват две дизайнерски предупреждения, и двете противоречат на обичайната пътна карта. Повече AI информация не е по-добре: системите, които непрекъснато излъчват диагностика, претоварваха преподавателите и отвличаха вниманието от собственото им наблюдение. Приоритизирай онова, за което си струва да се действа, направи го разбираемо и предлагай препоръки във форма, която преподавателят може да приеме, измени, отложи или отхвърли. Повече подкрепа за преподавателя също не е по-добре: отлагането на намесата, за да работят студентите самостоятелно, само по себе си е експертиза. Структурните условия, тоест време за преглед на данни, размер на класа и възможност физически да се стигне до групите, които се нуждаят от помощ, са част от намесата, а не фонова логистика. Табло, направено за преподавател без свободен час, не се отваря.

Случай едно: AI преподавател по математически анализ, където проверката е евтина

AI преподавател по математически анализ за първи семестър трябва да вдигне това, което студентите могат да решават и обясняват самостоятелно, след като бъде премахнат, а не да максимизира правилно завършените задачи. Обучението по математика е особено уязвимо на прекомерен скафолдинг, преждевременно използване на подсказки и неправилна диагноза на разсъждението на студента, и трите се виждат в записите ти, ако погледнеш (математическо образование).

Основаване и проверка. Изграждане на шест слоя: материали от курса и политики на преподавателя, после слой за извличане, после двигател за задачи и модел на обучаемия редом със символен проверяващ и диагностичен двигател, после слой за педагогическа политика, после разговорно генериране, после студентът и обратно в модела на обучаемия. Проверяващият е причината този дизайн да е осъществим. Той решава дали един израз е еквивалентен, дали производна е вярна, дали интеграл е изчислен, дали критична точка е намерена, и го прави, без да пита мнението на модела.

Едно взаимодействие. При диференциране на $f(x)=(x^2+1)\\sin x$ обичайният чатбот разкрива отговора. Учител, ориентиран към учене, разсъждава вътрешно, че студентът е диференцирал двата компонента, но е умножил резултатите, възможна погрешна представа за правилото за произведение като $f'g'$, и първо задава диагностичен въпрос: кое правило се прилага, когато две функции се умножават? После студентът записва правилото за произведение символно, настройва $u$ и $v$ и само след това учителят проверява крайния израз. Забележи колко от обучението се е случило, преди каквато и да е проза от модела да стигне до студента.

Множество представяния. Свържи символното процедурно знание с формулата, графиката, таблицата, словесното тълкуване и контекста на физическа скорост на изменение. Процедурната гладкост и концептуалното разбиране изглеждат еднакво върху лист с верни отговори и се разминават в задачата за пренос.

Таблото. Показвай обобщени доказателства вместо непрозрачни преценки: „правило за произведение, 62% показано овладяване; чести модели, 18% пропускат един член, 11% умножават производните“. Индивидуалните диагнози излизат като хипотези с подкрепящите ги доказателства, което е и това, което ги прави прегледими от преподавател (обяснимостта тук е по-важна за преподавателя, отколкото за студента).

Планът за оценяване. Представяне с учителя, представяне на сравними задачи без него, отложено задържане, пренос към непознати задачи, качество на концептуалното обяснение, поправяне на погрешни представи, уместно срещу преждевременно търсене на помощ, изтичане на отговори, нива на фалшиво положителни и фалшиво отрицателни диагнози и различни резултати. Сравнението, което решава проекта, е с помощ срещу по-късно без помощ. Студент, който минава от 60% на 95% с учителя и остава на 60% сам, не е бил обучаван.

Случай две: AI коуч по писане, където етапът решава разрешението

Писането няма един верен отговор, така че проверката е преценка, а дизайнерската работа се мести към етапирането. Базата от знания рамкира писането като когнитивен, социален и реторичен процес, което означава, че една AI система за писане може да подкрепи ученето и може също да премахне точно мисленето, за което заданието е съществувало (писане в образованието, Coach, Not Crutch).

Модел на способностите. Следи аргумента (конкретност на тезата, съответствие между твърдение и доказателство, контрааргумент), организацията (фокус на абзаца, логическа последователност, преходи), доказателствата (уместност на източника, интегриране, тълкуване), преработката (глобална и изреченска преработка, оценяване на обратната връзка) и стила (яснота, граматика, глас). Всяко от тях става отделен сигнал в модела на обучаемия, което е и това, което изобщо прави целенасочената обратна връзка възможна.

Основай коуча в заданието. Извличай инструкциите, рубриката на преподавателя, четенията от курса, изискванията за цитиране, жанровите конвенции, примерите на преподавателя и политиката за използване на AI, за да може обратната връзка да каже „рубриката на преподавателя ти изисква да свържеш всяко основно твърдение с доказателство от поне две четения от курса“, вместо да измисля общи очаквания. Общият съвет е провалът по подразбиране на неоснован инструмент за писане и студентите го разпознават в рамките на две сесии.

Задай разрешения за всеки етап. Включването на AI на различни етапи влияе различно на възприеманото авторство. Подкрепата при планиране намалява авторството по-малко от подкрепата при писане на чернова, а генерираната от AI чернова дава най-голямо намаление (From Planning to Revision). Тази констатация се превръща директно в таблица с разрешения. При планиране коучът задава въпроси, сравнява позиции, оспорва предположения и критикува планове и не генерира аргумента. При писане на чернова обучаемият първо произвежда проза, а коучът развива, вместо да поема. При преработка коучът диагностицира и спира дотук: неясни твърдения, липсващи доказателства, доказателства, които не подкрепят твърдението, организационни проблеми, черновата срещу рубриката. При редактиране, след преработката, той се занимава с граматика, пунктуация, стегнатост и форматиране на цитатите.

Разписано взаимодействие. За есе за това дали да се изискват онлайн курсове обща система преписва абзаца на студента в излъскана проза и върши интелектуалната работа. Коучът казва какво работи, назовава основния проблем (абзацът дава причини, но никога не обяснява защо те оправдават задължение за целия университет), поставя въпрос за преработка и моли студента да довърши едно изречение със свои думи. Аргументът остава там, където му е мястото.

Приоритизирана обратна връзка. Една сила, която да се запази, един проблем с голямо въздействие, един въпрос, който изисква преценка на автора, една конкретна цел за преработка. Не четиридесет коментара. Студент, който получи четиридесет коментара, ги сортира по дължина, а сортирането няма нищо общо с това, което има значение.

Накарай студента да съди обратната връзка. Грамотността за обратна връзка е учебна цел сама по себе си. Периодично питай дали обучаемият е съгласен с предложение и защо, и го остави да го отхвърли. Резултатът е оценъчна преценка, а не съответствие, и това е и единствената защита срещу коуч, който греши уверено.

Запази гласа. Разграничавай грешки, проблеми с яснотата, реторични избори и стилови предпочитания и остави последните две. Коуч, който „поправя“ реторични избори, хомогенизира писането към какъвто стил предпочита моделът, и нанася най-голяма вреда на многоезичните автори и на нестандартните реторични традиции (качеството на AI обратната връзка е общата версия на този проблем).

Учи от преработките. Пази историята на преработките, а не само крайните есета. Повтарящ се модел „доказателство въведено, но не тълкувано“, който се подобрява в три есета, е най-полезният сигнал, който една система за писане може да има, и е безплатен.

Оценяване. Качество на писането с AI и по-късно без него, способност да се намерят слабости в непознат текст, качество на преработката, приемане на обратната връзка, способност да се обяснят преработките, авторство, зависимост от AI проза, запазване на гласа, пристрастие спрямо диалекти и многоезични автори, съответствие с преценката на преподавателя и отложен пренос. Дизайнът, който отговаря на това, има три рамена: писане самостоятелно, AI, който генерира текста, и коуч. И трите групи после пишат ново есе без AI. Ако групата с генериран от AI текст печели на практика и губи без него, системата е подобрила представянето, а не ученето. Моделите на ниво клас от таблото (41% се нуждаят от подкрепа при свързване на твърдение с доказателство) са сигнал за формиращо оценяване за преподавателя.

Сравнение на двете изграждания

Въпрос за дизайна	AI преподавател по математически анализ	AI коуч по писане
Основен обект на учене	Математически концепции и решаване на задачи	Аргументация и процес на писане
Проверка	Често обективно проверима	Обикновено изисква контекстуална преценка
Детерминистични инструменти	Двигател за символна математика, калкулатор	Проверки на граматика, цитиране, рубрика
Основна роля на AI	Диагностицира и скафолдва разсъждението	Диагностицира и скафолдва преработката
Основен риск	Дава решението	Да напише текста вместо обучаемия
Действие на обучаемия, което има значение	Решава и обяснява	Пише чернова, оценява и преработва
Модел на обучаемия	Концепции, процедури, погрешни представи	Аргумент, доказателства, организация, преработка
Ключов ограничител	Опит преди решение	Студентска проза преди преписа от AI
Тест за пренос	Нови задачи по анализ без AI	Нова задача за писане без AI
Критерий за успех	Самостоятелно математическо разсъждение	Самостоятелно писане и оценъчна преценка

И двете системи използват един и същ набор от AI технологии и въплъщават различни педагогически политики, защото дисциплините изискват различни видове мислене. Правилото, което се обобщава, е да се назове когнитивната дейност, която произвежда ученето, и AI да се проектира така, че да подкрепя тази дейност, без да я извършва. Това правило превъзхожда всеки конкретен модел, заявка, агентна рамка или интерфейс.

Какво екипите за разработка разбират погрешно

Педагогиката живее в системната заявка, значи внимателната заявка е педагогически дизайн. Заявката е един слой от политика, която включва още какви доказателства събираш, кое стъпало предлага интерфейсът, какво проверява проверяващият и какво показва таблото. Добре написана заявка върху модел на обучаемия, който не пази нищо, ще произведе гладък учител без памет за студента, а стълбицата ще започва отначало всяка сесия.

По-добър модел ще поправи диагнозата. Резултатът от сравнимото тестване по-горе установи, че LLM учителите разпознават правилно разсъждение, докато отхвърлят валидни алтернативи и приемат неправилни, което е модел на грешка, който мащабът очевидно не поправя. Структурираната диагноза съществува, защото преценката на модела е частта, която не можеш да одитираш.

Удовлетвореността и завършването доказват, че дизайнът работи. Те доказват, че студентите са получили помощ. Пилотът с 38 студенти по програмиране намери възприетото учене силно свързано с използването, докато самостоятелният напредък се представи най-слабо, а изследването за овладяване намери, че изискването за поредица вдига овладяването по платформата без печалба на отложен тест. Вгради мярката за оттегляне в пилота или ще научиш грешния урок ефективно.

Извличането прави отговорите надеждни. То намалява риска от халюцинации и оставя останалата част от повърхността на провала непокътната: извлечен пасаж може да бъде разчетен погрешно, валидна техника може да е грешна за курса, а моделът може пак да греши уверено за стъпка, която сам е извел. Извличането е под, не таван.

Преминаването на набора за безопасност значи, че е безопасно за студенти. Обичайното тестване за безопасност покрива токсичност и jailbreak. Педагогическите провали, които имат значение тук, изтичане на отговори, подмазване и дрейф, са невидими за него и се натрупват в разговора, вместо да се появят в един ход.

Включеността е целта. Дължината на разговора и броят сесии са най-евтините метрики за инструментиране, поради което биват повишавани в цели. Аргументът за скафолдинга казва, че идеалната сесия става по-къса с подобряването на студента, така че ръстът на включеността е също толкова вероятно симптом.

Какво ще ти се върне

„Пускаме след шест седмици, а това е работа за три месеца.“ По-голямата част от архитектурата е евтина. Порта за опит, конфигурирана стълбица, извличане върху бележки, които вече имаш, и схема за записи с поле за оттегляне са работа от няколко дни. Скъпите елементи (модел на обучаемия, проверяващ, табло) могат да започнат зад флаг за един курс, а пилотът е по-информативен, когато евтините части са готови.

„Студентите го харесват, а завършването е нагоре.“ И двата факта са съвместими със система, която отговаря добре на въпроси и не преподава нищо. Изследването с 6 000 ученици намери по-бавен напредък и по-малко опитани въпроси редом с по-добра точност, така че спад в завършването също не е автоматично лоша новина. Докладвай представянето без помощ до числата за включеност и остави двете да се разминават публично.

„Не можем да проведем рандомизирано изпитване.“ Можеш да направиш сравнение в рамките на един и същ студент и без него: същата цел, с помощ по време на модула, тествана без помощ две седмици по-късно, с докладвана оценка с помощ до нея. Този дизайн отговаря на продуктовия въпрос и не се нуждае от контролно рамо. Това, което не може да ти каже, е контрафактичното за студентите, които никога не са използвали учителя.

„Моделът е API на доставчик, значи поведението при помощ е извън ръцете ни.“ Стъпалата живеят в слоя ти за оркестрация, а резултатът от експеримента с ограничителите дойде от промяна на това какво е позволено да казва учителят, не от смяна на модела. Очаквай последващото обучение на доставчика да тегли към бърз отговор, защото полезността е това, за което е настроено, и сложи въздържаността в собствения си код.

„Преподавателите няма да използват още едно табло.“ Няма да използват такова, което излъчва непрекъсната диагностика, за която прегледът в K-12 установи, че отвлича вниманието от собственото им наблюдение. Дай им малък брой разбираеми сигнали, начин да приемат или отхвърлят всяка препоръка и време през седмицата да ги погледнат.

„Нямаме експерти по дисциплината в екипа.“ Тогава учителят ще преподава общ метод и нотацията на курса ще се размие в рамките на един семестър. Експерт по предмета за два дни по време на дизайна, който да напише списъка с погрешни представи и списъка с одобрени методи, е най-евтиният ред в проекта и този, който екипите орязват първи.

Какво да направиш тази седмица

1. Напиши изречението за представяне без помощ за пилота и го сложи в спецификацията, над списъка с функции.

2. Добави порта за опит и я записвай. Записвай дали студентът е опитал преди първата подсказка и до кое стъпало е стигнал.

3. Замени бутона за подсказка с въпроса за блокиращата точка и записвай отговора като категория.

4. Насрочи една проверка без помощ две седмици след модула и я сложи в календара с отговорник.

5. Запази два дни с преподавател по предмета, за да напишете списъка с погрешни представи и списъка с одобрени методи.

Накъде след това

Какви са добрите практики и съвети за проектиране на ефективен образователен AI софтуер? покрива правилата на софтуерно ниво, на които един учител трябва да отговаря, а Как трябва да се вгради AI в учебното преживяване? покрива къде стои учителят в последователността на курса. Какви мерки и изследователски методи може да използва преподавателят, за да оценява интервенции, свързани с AI? и Как да разберем, че образователният AI работи правилно, а не просто получава добри оценки? се занимават с това дали нещото работи. Ако проблемът ти е, че моделът отговаря твърде охотно, Как да направим AI по-добър в подкрепата на ученето в собствената ни дисциплина? и Как да обучим AI тьютор да напътства студентите, вместо да им отговаря? разработват страната на обучението по същия въпрос.