Jak przeprojektować ocenianie, żeby ocena nadal mówiła coś obronnego o tym, co student wie lub potrafi?

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

Prawdopodobnie w rękach jest zadanie, które działało latami, a teraz wraca praca, której nie da się obronić. Ocena mówi A, a artefakt może być w większości dziełem narzędzia. Albo student kwestionuje niską ocenę na podstawach, których nie da się sprawdzić, albo program przepisuje politykę oceniania i pyta, co ma się zmienić w kursie do następnego semestru.

Krótka odpowiedź: zdecydować, czego ocena ma być dowodem, umieścić w zadaniu co najmniej jeden krok, który student wykonuje bez narzędzia, i sprawić, żeby rubryka płaciła za rozumowanie, a nie tylko za produkt. Przeprojektowanie, które pomija drugi i trzeci krok, zmienia sposób powstawania pracy, nie zmieniając tego, co ocena może uzasadnić.

W skrócie

1. Zapisać, jaką kompetencję reprezentuje ocena. Samodzielność, właściwe użycie SI albo umiejętność kierowania SI i oceniania jej to trzy różne konstrukty, a jeden artefakt nie może być dowodem na wszystkie trzy.

2. Dodać jeden uwierzytelniony krok do każdego zadania o wysokiej wadze: krótkie sprawdzenie ustne, zastosowanie na zajęciach, demonstrację na żywo albo uzasadnienie z adnotacjami. Jeden zwykle wystarcza.

3. Wyznaczać granicę SI dla każdego kroku zadania, a nie dla kursu. Spisać, co student robi na każdym kroku, i zapytać, co konkretnie jest tam oceniane.

4. Umieścić dowody procesu w rubryce z realnymi punktami. Jeśli rubryka nadal nagradza tylko artefakt, studenci będą optymalizować artefakt.

5. Zakładać obecność studenta najbardziej skłonnego do ukrywania, a nie najbardziej sumiennego, i sprawdzać, który wybór reguły czynią najłatwiejszym.

Zdecydować, czego ocena jest dowodem

Zacząć od jawnego powiedzenia, jaką kompetencję ocena ma reprezentować. Czy ocenia się to, co student potrafi samodzielnie, co potrafi osiągnąć właściwie z SI, jego umiejętność oceny i kierowania SI, czy jakąś kombinację tych rzeczy? Trafność oceniania w tej bazie wiedzy traktuje to jako problem trafności: wypracowany artefakt nie jest już wystarczającym dowodem, że student ma kompetencję, którą ten artefakt pozornie pokazuje. To połowa tego samego argumentu po stronie oceniania; połowa po stronie egzekwowania jest w ograniczaniu oszukiwania z użyciem SI, a ogólne ujęcie trafności przewija się przez ocenę interwencji z SI.

Tę odpowiedź trzeba podać w sylabusie, w instrukcji zadania i w rubryce. Studenci czytają trzy dokumenty i stosują się do tego, który jest najbardziej konkretny. „Użycie SI jest dozwolone po zaznaczeniu” nie jest stwierdzeniem, co się mierzy, i nie daje studentowi sposobu, by poznać, czy dozwolone użycie podkopuje to, co jest oceniane.

Ryzyko podstawienia konstruktu

Artykuł Od autentycznych produktów do uwierzytelnionych procesów nazywa wynikające z tego ryzyko podstawieniem konstruktu: oceniający przypisuje studentowi produkt zapośredniczony przez SI i niechcący mierzy możliwości narzędzia, a nie studenta. Zalecana odpowiedź to uczynienie widocznym rozumowania, osądu, weryfikacji, iteracji i odpowiedzialności studenta przez takie podejścia jak etapowe oddawanie prac, uzasadnienia decyzji z adnotacjami, zapisy procesu, oświadczenia o wykorzystaniu informacji zwrotnej, obrony ustne i inne formy uwierzytelnionych dowodów procesu.

Ta lista jest menu, a to, która pozycja jest najtańsza, zależy od liczebności grupy. W grupie 25 osób pięciominutowe sprawdzenie ustne na studenta przy każdym większym zadaniu to około dwóch godzin oceniania, które być może i tak się wydaje. Na wykładzie dla 300 osób etapowe oddawanie prac i uzasadnienia z adnotacjami się skalują, a obrony ustne nie, i tym, co pozostaje praktyczne, jest wyrywkowe sprawdzenie ustne prac wyglądających nietypowo. Warto wybrać opcję, którą da się utrzymać jeszcze w dziesiątym tygodniu.

Umieścić jeden uwierzytelniony krok w każdym zadaniu

W praktyce mocna architektura oceniania często łączy autentyczne zadanie z udziałem SI z jakąś formą niezależnej weryfikacji. W zależności od dyscypliny może to być krótkie wyjaśnienie ustne, zastosowanie na zajęciach, demonstracja na żywo, portfolio z adnotacjami, krótki element bez wsparcia albo pytania o kluczowe decyzje.

Koncepcja oceniania autentycznego podkreśla też realistyczną pracę intelektualną, wyzwanie poznawcze, sprawczość studenta, informację zwrotną oraz autentyczność społeczną lub zawodową. Uodpornienie zadania na SI bez uczynienia go bardziej wartym wykonania zostawia to samo ocenianie i dodatkową pracę.

Przejść zadanie krok po kroku i tam wyznaczyć granicę

Metoda na poziomie zadania, która czyni to wykonalnym, to ta opisana przez McCorkle’a: spisać każdy krok, który student wykonuje, zapytać o każdy z nich „co konkretnie jest tu oceniane?” i wyprowadzić granicę SI z odpowiedzi, co jest też sposobem, w jaki oczekiwania stojące za ograniczaniem oszukiwania stają się jawne i egzekwowalne.

Warto przeprowadzić ją raz na najbardziej spornym zadaniu i zapisać wynik w instrukcji zadania. Typowy rezultat dzieli się czysto: wczesne kroki poszukiwania źródeł i pisania wersji roboczej to miejsce, w którym żyje konstrukt i w którym narzędzie wyrządza szkodę, natomiast formatowanie, sprawdzanie odnośników i redakcja językowa to kroki, w których użycie narzędzia jest niewidoczne dla konstruktu i prawdopodobnie powinno być dozwolone wprost. Zgody całościowe i zakazy całościowe zawodzą obie, bo odpowiedź naprawdę różni się w zależności od kroku.

Sprawić, żeby rubryka płaciła za proces

Mohamed i Temimi ujmują ten sam problem jako problem niepełnej informacji, a nie moralności: student wie, jak powstała praca, a instytucja widzi tylko artefakt plus częściowe ślady, więc pytanie projektowe brzmi, którą reakcję studenta każde środowisko oceniania czyni najbardziej atrakcyjną. Ich model regionów reakcji porównuje trzy wybory: brak użycia SI, użycie ujawnione i użycie ukryte, i pokazuje, że reguły, monitorowanie, ujawnianie i przeprojektowanie działają różnymi kanałami i udają się tylko wtedy, gdy najbardziej atrakcyjna reakcja jest zgodna z celem oceniania.

Dwa wyniki dotyczą architektury bezpośrednio. Odstraszanie działa przez zdolność rozróżniania ukrytego użycia od pracy uprawnionej, a nie przez surowy wskaźnik wykryć, więc gdy fałszywe alarmy rosną szybciej niż trafne wykrycia, silniejsze monitorowanie może czynić ukrywanie względnie bardziej atrakcyjnym. A przeprojektowanie prowadzi studentów do odpowiedzialnego użycia tylko wtedy, gdy rubryka rzeczywiście nagradza dowody procesu; inaczej pozostaje kosmetyczne. Ich praktyczna reguła to projektować dla studenta najbardziej skłonnego do ukrywania, a nie najbardziej sumiennego.

Jeśli akapit uzasadnienia, dziennik zmian albo refleksja nad odrzuconą sugestią SI nie niosą punktów, zostaną napisane w pięć minut i przez nikogo nieprzeczytane. Dowodom procesu trzeba dać tyle wagi, żeby student, który je pomija, tracił więcej, niż zyskuje, i opisać, jak wygląda dobry dowód procesu, z tą samą konkretnością, jaką stosuje się do produktu.

Zróżnicowanie zadania na studenta jest warunkowe i nie jest darmowe

Jedną z popularnych architektur bez nadzoru jest zróżnicowanie zadania na studenta, w którym każda osoba zdająca dostaje powierzchownie odmienną, ale równoważną konstruktowo wersję tego samego zadania, żeby odpowiedziami nie dało się sensownie dzielić. VARIA, wynik porównawczy 600 wygenerowanych wariantów w 60 komórkach warunków, wykazał, że modele najnowszej generacji skupiają się ciasno na łącznym wskaźniku integralności (0,81-0,88), podczas gdy odniesienia spoza tej grupy spadają do 0,50-0,55, oraz że żadna pojedyncza strategia promptowania nie optymalizuje jednocześnie różnorodności powierzchniowej i równoważności konstruktowej. Zróżnicowania na skalę nie można zakładać na podstawie samego promptowania, więc instytucja powinna zwalidować własną parę modelu i promptu, zanim uzna tę gwarancję za realną.

Dla decyzji na poziomie kursu oznacza to jeden test przed zobowiązaniem: wygenerować zestaw wariantów z jednego z własnych zadań, zlecić koledze ocenę dwóch z nich pod kątem tej samej kompetencji i porównać. Jeśli oceny rozchodzą się między wariantami, twierdzenie o równoważności nie utrzymuje się dla tego zadania, a ochrona przed dzieleniem się odpowiedziami jest opłacona niesprawiedliwością.

Przeprojektowanie rzadko dzieje się zadanie po zadaniu

W badaniu jakościowym z 12 pracownikami akademickimi i 17 studentami na dużym australijskim uniwersytecie Nicola-Richmond i in. stwierdzili, że obie grupy zgadzały się, że ocenianie musi się zmienić, ale wskazywały na tarcie systemowe: długie terminy, ograniczenia akredytacyjne przy dużych rocznikach, obciążenie pracą i koszt. Doszli do wniosku, że przeprojektowanie wymaga całej wsi, czyli zespołu na poziomie programu łączącego kompetencje w zakresie projektowania oceniania, generatywnej SI, merytoryczne, branżowe i dowodowe, z punktami dotyczącymi kompetencji w zakresie generatywnej SI i zapewniania jakości uczenia się rozmieszczonymi strategicznie w całym cyklu kształcenia. Jeśli to jeden nauczyciel z jednym kursem, to ustalenie jest ostrzeżeniem o tym, co będzie spowalniać, i powodem, żeby kierownika programu wciągnąć w pierwszą rozmowę, a nie w ostatnią.

Cel ma znaczenie tak samo jak mechanika. El Khoury i Ma twierdzą, że reforma zorganizowana wyłącznie wokół zapobiegania nieuczciwości jest zbyt defensywna, i proponują ocenianie z radością, bezpieczne, reagujące emocjonalnie, wzmacniające i wspierające sprawczość studenta, w którym rzetelność jest skutkiem dobrego projektu, a nie jego punktem wyjścia. Ich przykład roboczy używa zbudowanego przez nauczyciela agenta SI do przećwiczenia studentów przed oceną i do wytworzenia raportu dowodowego zgodnego z rubryką, ale podział pracy jest powiedziany wprost: SI porządkuje dowody, nauczyciel je interpretuje.

Co się na Tobie odbije

„Nie ma godzin na sprawdzenia ustne.” Więc nie trzeba ich prowadzić przy wszystkim. Jeden uwierzytelniony element w zadaniu o najwyższej wadze plus wyrywkowe sprawdzenie prac wyglądających niespójnie z wcześniejszymi oddaniami adresuje większość ryzyka ułamkiem kosztu. Elementy, które się skalują, to etapowe oddawanie prac i uzasadnienia z adnotacjami.

„Akredytacja i zatwierdzanie programu nie ruszą się tak szybko.” Powyższe badanie wskazuje długie terminy i ograniczenia akredytacyjne przy dużych rocznikach jako główne tarcie. Pojedynczy kurs może zmienić to, co dzieje się wewnątrz istniejącego zadania, nie zmieniając jego nazwy, wagi ani efektów uczenia się, i to zwykle wystarcza na start.

„To karze studentów lękliwych i studentów z niepełnosprawnościami.” Może karać. Ustne elementy na żywo wymagają dostosowań zaplanowanych z wyprzedzeniem, wyboru formatu tam, gdzie konstrukt na to pozwala, oraz uwagi na różnice językowe i stronniczość oceniającego. Weryfikować trzeba kompetencję, a nie warunki jej prezentacji.

„Trzeba po prostu kupić detektor.” Wynik dotyczący rozróżniania przemawia przeciw temu jako kręgosłupowi projektu: jeśli fałszywe alarmy rosną szybciej niż trafne wykrycia, silniejsze monitorowanie czyni ukrywanie względnie bardziej atrakcyjnym. Wykrywanie może mieć miejsce w odpowiedzi, która także przeprojektowuje zadanie, a argument o detektorach omawia ten spór.

„Studenci i tak będą używać SI.” Będą, a pytanie projektowe brzmi, którą reakcję zadanie czyni najłatwiejszą. Jeśli ujawnienie nic studenta nie kosztuje, a rubryka płaci za proces, większość je wybiera; jeśli ujawnienie ściąga podejrzenia, ukrywanie staje się wyborem racjonalnym.

Co zrobić w tym tygodniu

1. Zapisać jedno zdanie nazywające kompetencję, którą ocenia następne większe zadanie. Umieścić je w instrukcji zadania.

2. Wybrać najtańszy uwierzytelniony krok, który da się utrzymać, i dodać go do tego zadania.

3. Spisać kroki zadania i oznaczyć każdy jako niosący konstrukt albo nie. Pozwalać na SI tam, gdzie go nie niesie, ograniczać tam, gdzie niesie.

4. Dodać dowody procesu do rubryki z przypisanymi punktami i opisać, jak wygląda dobry dowód procesu.

5. Przedstawić zmianę kierownikowi programu i komórce zatwierdzającej dostosowania, przed początkiem semestru, a nie po pierwszym odwołaniu.

Dokąd dalej

Argument o trafności stojący za całą tą stroną jest w trafności oceniania; towarzysząca mu strona o egzekwowaniu to ograniczanie oszukiwania z użyciem SI, a obok niej polityka kursu dotycząca SI. Najlepsze praktyki nauczania pisania z SI obejmują sformułowania, których studenci rzeczywiście przestrzegają, a ocena interwencji z SI obejmuje to, czy narzędzie, wokół którego projektuje się ocenianie, w ogóle działa.