Как да препроектирам оценяването, така че оценката да ми казва нещо защитимо за това какво знае или може студентът?

Автоматичен машинен превод на тази английска страница, който още не е проверен от носител на езика.

Вероятно държиш задача, която е работила години и сега връща работа, която не можеш да защитиш. Оценката казва „отличен“, а продуктът може да е предимно на инструмента. Или студент оспорва ниска оценка на основания, които не можеш да провериш, или програмата ти пренаписва политиката си за оценяване и те пита какво трябва да се промени в курса ти до следващия семестър.

Краткият отговор: реши за какво оценката трябва да е доказателство, сложи поне една стъпка в задачата, която студентът изпълнява без инструмента, и направи рубриката да плаща за разсъждението, а не само за продукта. Препроектиране, което пропуска втората и третата стъпка, променя как се произвежда работата, без да променя какво може да подкрепи оценката.

Накратко

1. Запиши коя способност представлява оценката. Независимостта, подходящото използване на AI и способността да ръководиш и съдиш AI са три различни конструкта и един продукт не може да е доказателство за трите.

2. Добави една удостоверена стъпка към всяка задача с голяма тежест: кратка устна проверка, приложение в час, демонстрация на живо или анотирана обосновка. Една обикновено е достатъчна.

3. Задай границата за AI за всяка стъпка от задачата, а не за целия курс. Направи опис какво прави студентът на всяка стъпка и питай какво конкретно оценяваш там.

4. Сложи доказателство за процеса в рубриката с реални точки. Ако рубриката награждава само продукта, студентите ще оптимизират за продукта.

5. Изхождай от студента, който е най-изкушен да скрие, а не от най-съвестния, и провери кой избор правилата ти правят най-лесен.

Реши за какво е доказателство оценката

Започни, като кажеш изрично коя способност трябва да представлява оценката. Оценяваш ли какво може студентът независимо, какво може да постигне подходящо с AI, способността му да оценява и ръководи AI или някаква комбинация от тези? Валидността на оценяването в тази база знания третира това като проблем на валидността: изгладен продукт вече не е достатъчно доказателство, че студентът притежава способността, която продуктът очевидно демонстрира. Това е половината от аргумента, която е за оценяването; половината за налагането е в Как да намаля измамите с AI в моя курс?, а общата рамка за валидност минава през Какви мерки и изследователски методи може да използва преподавателят, за да оценява интервенции, свързани с AI?.

Кажи отговора в учебната програма, в листа със задачата и в рубриката. Студентите четат три документа и се съобразяват с този, който е най-конкретен. „Използването на AI е разрешено с посочване“ не е твърдение какво измерваш и не дава на студента начин да разбере дали разрешеното използване подкопава това, което оценяваш.

Рискът от подмяна на конструкта

Статията От автентични продукти към удостоверени процеси нарича произтичащия риск подмяна на конструкта: оценителят приписва на студента продукт, медииран от AI, и неволно измерва способностите на инструмента, вместо тези на студента. Препоръчаният отговор е да направиш разсъждението, преценката, проверката, итерацията и отговорността на студента видими чрез подходи като поетапни предания, анотирани обосновки на решения, записи на процеса, декларации за използване на обратна връзка, устни защити и други форми на удостоверени доказателства за процеса.

Този списък е меню и кой елемент е най-евтин зависи от размера на групата ти. За поток от 25 души петминутна устна проверка на студент за основна задача е около два часа оценяване, което може би вече харчиш. За лекция с 300 души поетапните предания и анотираните обосновки се мащабират, докато устните защити не, и проверката на извадка от работа, която изглежда аномална, е това, което остава практично. Избери варианта, който все още можеш да поддържаш в десетата седмица.

Сложи една удостоверена стъпка във всяка задача

На практика силната архитектура на оценяване често съчетава автентична задача с включен AI с някаква форма на независима проверка. В зависимост от дисциплината това може да включва кратко устно обяснение, приложение в час, демонстрация на живо, анотирано портфолио, кратък компонент без помощ или разпит за ключови решения.

Концепцията за автентично оценяване също подчертава реалистична интелектуална работа, когнитивно предизвикателство, автономия на студента, обратна връзка и социална или професионална автентичност. Да заздравиш задача срещу AI, без да я направиш по-заслужаваща си, те оставя със същото оценяване и допълнителна работа.

Мини през задачата стъпка по стъпка и задай границата там

Методът на ниво задача, който прави това управляемо, е този, който документира McCorkle: направи опис на всяка стъпка, която студентът изпълнява, питай за всяка стъпка „какво конкретно оценявам?“, и изведи границата за AI от отговора, което е и начинът очакванията зад Как да намаля измамите с AI в моя курс? да станат изрични и приложими.

Пусни го веднъж върху най-оспорваната си задача и запиши резултата в листа със задачата. Типичният резултат се разделя чисто: ранните стъпки на издирване и чернова са там, където живее конструктът и където инструментът нанася щетата, докато форматирането, проверката на източници и езиковото редактиране са стъпки, в които използването на инструмент е невидимо за конструкта ти и вероятно трябва да бъде напълно разрешено. Общите разрешения и общите забрани се провалят и двете, защото отговорът наистина се различава по стъпки.

Направи рубриката да плаща за процеса

Mohamed и Temimi преформулират същия проблем като проблем на несъвършена информация, а не на морал: студентът знае как е произведена работата, а институцията вижда само продукта плюс частични следи, така че дизайнерският въпрос става кой отговор на студента всяка среда за оценяване прави най-привлекателен. Моделът им за региони на отговор сравнява три избора: без използване на AI, посочено използване и скрито използване, и показва, че правилата, наблюдението, разкриването и препроектирането действат през различни канали и успяват само когато най-привлекателният отговор съвпада с целта на оценяването.

Два резултата имат пряко отношение към архитектурата. Възпирането минава през различителната способност на детектора между скрито използване и законна работа, а не през суровия му процент на улавяне, така че когато фалшивите положителни растат по-бързо от истинските, по-силното наблюдение може да направи скриването относително по-привлекателно. И препроектирането насочва студентите към отговорно използване само когато рубриката наистина награждава доказателство за процеса; иначе остава козметично. Практическото им правило е да проектираш за студента, който е най-изкушен да скрие, а не за най-съвестния.

Ако абзац с обосновка, дневник на преработките или рефлексия върху отхвърлено предложение на AI не носи точки, той ще бъде написан за пет минути и прочетен от никого. Дай на доказателството за процеса достатъчна тежест, че студент, който го пропусне, да губи повече, отколкото печели с пропускането, и опиши как изглежда доброто доказателство за процеса със същата конкретност, която използваш за продукта.

Вариацията на задачите по студент зависи от способността, не е безплатна

Една популярна архитектура без наблюдение е вариация на задачата по студент, при която всеки изпитван получава повърхностно различна, но еквивалентна по конструкт версия на същата задача, така че отговорите да не могат да се споделят полезно. VARIA, бенчмарк от 600 генерирани варианта в 60 клетки на условия, установи, че водещите модели се струпват тясно по обща оценка за цялост (0,81-0,88), докато неводещите референции се сриват до 0,50-0,55, и че нито една стратегия за подканяне не оптимизира едновременно повърхностното разнообразие и еквивалентността на конструкта. Вариацията в мащаб не може да се предполага само от подканяне, така че институцията трябва да валидира своята двойка модел и подкана, преди да приеме гаранцията за истинска.

За решение на ниво курс това значи един тест, преди да се ангажираш: генерирай набор от варианти от една своя задача, помоли колега да оцени два от тях за същата способност и сравни. Ако оценките се разминават по вариантите, твърдението за еквивалентност не се държи за твоята задача и защитата срещу споделени отговори се плаща с несправедливост.

Препроектирането рядко се случва задача по задача

В качествено изследване на 12 академици и 17 студенти в голям австралийски университет Nicola-Richmond et al. установиха, че и двете групи са съгласни, че оценяването трябва да се промени, но подчертаха системното съпротивление: дълги срокове, ограничения за акредитация на големи кохорти, натоварване и разходи. Те заключиха, че препроектирането иска цяло село, тоест екип на ниво програма, който съчетава експертиза по дизайн на оценяване, генеративен AI, предметна област, индустрия и доказателства, с точки за грамотност по GenAI и осигуряване на ученето, разположени стратегически в квалификацията. Ако си един преподавател с един курс, този извод е предупреждение какво ще те забави и причина да въведеш ръководителя на програмата в първия разговор, а не в последния.

Целта има значение не по-малко от механиката. El Khoury и Ma твърдят, че реформа, организирана само около предотвратяването на нарушения, е твърде отбранителна, и предлагат радостно оценяване: безопасно, емоционално отзивчиво, даващо сили и подкрепящо автономията на студента, при което почтеността е следствие от добрия дизайн, а не негова изходна точка. Техният разработен пример използва AI агент, построен от преподавателя, за да репетира със студентите преди оценяването и да произведе доклад с доказателства, съобразен с рубриката, но разделението на труда е казано направо: AI организира доказателствата, преподавателят ги тълкува.

Какво ще ти се върне

„Нямам часовете за устни проверки.“ Тогава не ги прави за всичко. Един удостоверен компонент в задачата с най-голяма тежест, плюс проверка на извадка от работа, която изглежда несъответстваща на предишни предания, адресира повечето от риска на част от разхода. Мащабируемите елементи са поетапните предания и анотираните обосновки.

„Акредитацията и одобрението на програмата няма да се движат толкова бързо.“ Изследването по-горе посочва дългите срокове и ограниченията за акредитация на големи кохорти като основното съпротивление. Един курс може да промени какво се случва в едно съществуващо оценяване, без да променя името му, тежестта му или резултатите му за учене, и това обикновено е достатъчно, за да се започне.

„Това наказва тревожните студенти и студентите с увреждания.“ Може. Устните компоненти на живо изискват адаптации, планирани предварително, избор на формат, където конструктът позволява, и внимание към езиковата разлика и пристрастието на оценителя. Проверявай способността, не условията на представяне.

„Просто трябва да купим детектор.“ Резултатът за различителната способност е аргумент срещу това като гръбнак на дизайна: ако фалшивите положителни растат по-бързо от истинските, по-силното наблюдение прави скриването относително по-привлекателно. Откриването може да има място в отговор, който също така препроектира задачата, и Да използваме ли AI детектори? покрива този аргумент.

„Студентите така или иначе ще използват AI.“ Ще го използват, а дизайнерският въпрос е кой отговор задачата ти прави най-лесен. Ако разкриването не струва нищо на студента и рубриката плаща за процеса, повечето го приемат; ако разкриването кани подозрение, скриването става рационалният избор.

Какво да направиш тази седмица

1. Напиши едно изречение, което назовава способността, която оценява следващата ти голяма задача. Сложи го в листа със задачата.

2. Избери единствената най-евтина удостоверена стъпка, която можеш да поддържаш, и я добави към тази задача.

3. Направи опис на стъпките на задачата и отбележи всяка като носеща конструкта или не. Разреши AI където не е, ограничи го където е.

4. Добави доказателство за процеса в рубриката с прикачени точки и кажи как изглежда доброто.

5. Занеси промяната на ръководителя на програмата и на службата, която одобрява адаптации, преди началото на семестъра, а не след първото обжалване.

Накъде след това

Аргументът за валидност зад цялата страница е в Assessment Validity; съпътстващата страна за налагането е Как да намаля измамите с AI в моя курс?, с Как да напиша политика за AI в курса и да я съобщя на студентите? до нея. Какви са добрите практики за преподаване на писане в контекста на AI? покрива формулировката, с която студентите всъщност се съобразяват, а Какви мерки и изследователски методи може да използва преподавателят, за да оценява интервенции, свързани с AI? покрива дали инструментът, около който проектираш, изобщо работи.