Jak mogę zaoszczędzić czas dzięki SI jako prowadzący zajęcia?

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

Jest czwartkowy wieczór ósmego tygodnia. Trzy konspekty lekcji są potrzebne do poniedziałku, raporty laboratoryjne są w połowie ocenione, a piątkowe zebranie katedry ma punkt o tym, co każdy zrobił z SI od sierpniowego szkolenia. Koleżanka mówi, że narzędzie skróciło jej czas planowania o połowę. Próbowano go dwa razy, czterdzieści minut zeszło na naprawianie karty pracy, i wniosek był taki, że całość jest przereklamowana.

Obie relacje opisują to samo narzędzie. Oszczędza czas przy tworzeniu materiału, który i tak trzeba by redagować, a kosztuje czas, gdy się je kieruje na osąd o konkretnym studencie. To, czy oszczędność staje się czyjaś, zależy od decyzji, której większość prowadzących nigdy nie podejmuje: na co są odzyskane godziny.

Wniosek na zebranie: oddać pierwszy szkic i zachować osąd. Konspekty lekcji, rozwiązane przykłady, pytania do dyskusji, pozycje quizów kształtujących, alternatywne wyjaśnienia, brzmienie rubryk i rutynowy tekst administracyjny to praca, którą można wyspecyfikować, sprawdzić i poprawić. Cele, oceny końcowe i każda decyzja o konkretnej osobie uczącej się zostają przy prowadzącym. Warto nazwać, co kupuje uwolniona godzina, bo dowody na oszczędzanie czasu są dowodami o tym, gdzie ten czas idzie.

W skrócie

1. Wypisać zadania z ostatniego tygodnia, które dały dokument potem redagowany. To są kandydaci.

2. Zacząć od materiału ustrukturyzowanego, który da się sprawdzić wobec własnej specyfikacji: biletów wyjściowych, pozycji quizów, rozwiązanych przykładów, drugiego wyjaśnienia trudnego pojęcia.

3. Zapisać, gdzie trafia odzyskana godzina, zanim się ją odzyska.

4. Mierzyć czas trzech powtarzalnych zadań przez dwa tygodnie. Poczucie oszczędności jest zawodne w konkretny, udokumentowany sposób.

5. Zostawić ustalanie celów, oceny sumujące i decyzje o poszczególnych studentach po swojej stronie linii.

Zacząć od pracy, którą i tak trzeba by przepisać

Najmocniejsza liczba w tej bazie wiedzy pochodzi z badania randomizowanego streszczonego w tekście o tym, jak SI zmienia przepływy pracy w nauczaniu. 259 nauczycieli przedmiotów przyrodniczych używających ChatGPT poświęciło na przygotowanie lekcji około 69% czasu grupy kontrolnej, czyli o około 31% mniej, a zaślepieni recenzenci eksperccy nie stwierdzili wykrywalnej utraty jakości. Nauczyciele przesunęli ten czas, a nie odłożyli: przenieśli go w planowanie, ocenianie i pracę z studentami.

Drugi zbiór danych w tej samej pracy, ponad 104 000 wiadomości od ponad 15 000 edukatorów, pokazuje, dlaczego oszczędność ląduje w dziwnych miejscach. Przeciętny prompt dotyka 1,7 kategorii naraz, więc jedna prośba o konspekt lekcji wraca z różnicowaniem i quizem, o które nauczyciel nie pomyślał, żeby zapytać.

To przesunięcie, a nie redukcja: z generatywnego SI dostaje się różnicę między pustą stroną a szkicem dość konkretnym, by się z nim spierać.

Dopasować zadanie do tego, co narzędzie robi dobrze

Jakość jest nierówna w schemacie dość stałym, by planować wokół niego. Zaślepieni recenzenci woleli wersje SI podsumowań lekcji i biletów wyjściowych w 59,7% przypadków od materiałów zaprojektowanych przez profesjonalistów, a materiał SI do treści licealnych woleli w 59,2% przypadków. Oszczędność rośnie też tam, gdzie pewność siebie jest najniższa: nauczanie poza własnym przedmiotem to przypadek o najszerszej luce między tym, co daje narzędzie, a tym, co napisałoby się samemu.

Dwie kategorie idą w drugą stronę. Na materiale na poziomie szkoły podstawowej ludzie byli preferowani w około 65% przypadków pod względem trafności rozwojowej. Celowe rusztowania dla osób uczących się wielojęzycznie i uczniów w kształceniu specjalnym wracały neutralne, a nie błędne, co jest gorsze, niż brzmi, bo neutralne rusztowanie to takie, które odbudowuje się od zera.

Test, który to przewiduje, zanim poświęci się na to cały wieczór: czy da się podać specyfikację dość precyzyjnie, by sprawdzić wynik? Bilet wyjściowy z jednego celu, tak. Czy akapit pasuje do konkretnego dziewięcioletniego ucznia czytającego dwa lata poniżej poziomu klasy, nie.

Dać odzyskanej godzinie miejsce docelowe

Najczystszy dowód, że oszczędność jest realna i że sama nic nie robi, pochodzi z dużego eksperymentu w 178 szkołach i z około 19 000 uczniów ostatnich klas liceów, dotyczącego zautomatyzowanej informacji zwrotnej do esejów. Studenci, których informacja zwrotna pochodziła z systemu, zyskali tyle samo co studenci oceniani przez ludzi. Ludzcy oceniający kosztowali około 0,85 dolara za esej i nie dodali ponad to żadnej mierzalnej korzyści.

W klasach z SI studenci odbyli około 35% więcej rozmów jeden na jeden z nauczycielami o pisaniu i napisali 30% więcej esejów. Godziny pracy nauczycieli w domu spadły o 20%, a udział osób opisujących swój czas jako „bardzo niewystarczający” spadł z 23% do 9%. Największe przyrosty uczenia się przypadły na najbardziej złożone zadanie pisarskie, to, które SI ocenia najsłabiej, bo nauczyciel miał teraz godziny, by się nim zająć.

Zastrzeżenie to zdanie do zabrania na zebranie. Dolny kwartyl nie poprawił się wcale. Studenci najbardziej zapóźnieni nie zyskali nic od nauczyciela, który jedynie miał więcej miejsca w dniu, więc to, gdzie idą godziny, jest całym argumentem, a równościowe przesunięcie należy do planu od początku, a nie do przeglądu na końcu.

Mierzyć oszczędność, a nie ją czuć

Oszczędność czasu to twierdzenie, co do którego prowadzący najpewniej mylą się o sobie. W trzech przedrejestrowanych badaniach z 2 691 uczestnikami ludzie nie doceniali, jak często używali SI, i przeceniali czas i wysiłek, które im to oszczędziło, opisując zadania jako szybsze i łatwiejsze, podczas gdy obiektywne miary nie pokazywały różnicy. Użycie narzędzia wcześniej w sesji przewidywało używanie go więcej później, więc błąd kumuluje się w ciągu jednego popołudnia (The efficiency-gain illusion: People underestimate the rate of AI use and overestimate its benefits on simple tasks).

Pomaga kalibracja metapoznawcza, a jej tania wersja to dziennik. Przez dwa tygodnie notować godziny rozpoczęcia i zakończenia trzech powtarzalnych zadań, jednego z narzędziem i dwóch bez. Należy oczekiwać jednego zadania z dużą realną oszczędnością, kilku bez żadnej i paru, w których narzędzie dodało krok przeglądu, który zjadł zysk.

Wysiłek i zdolność też się rozchodzą. Badanie w schemacie wewnątrzobiektowym z 13 nauczycielami akademickimi pokazało, że dostęp do SI obniżył postrzegany wysiłek poznawczy przy projektowaniu uczenia się z mediany 6,33 do 3,33 (p = 0,004), podczas gdy dołożony trening promptowania nie poprawił jakości projektów (When Teachers Use AI Chatbots and Are Trained for It: Impact on Learning Design Quality and Cognitive Effort). Mniejszy wysiłek w czwartkowy wieczór to realna korzyść. To nie jest dowód, że projekty się poprawiły.

Zostawić cele i oceny końcowe po swojej stronie

Praca nad projektem partycypacyjnym z sześcioma nauczycielami ze szkół średnich dała granicę wartą skopiowania. Zaprojektowali system jako ograniczonego eksperta: sprawnego w wąskiej dziedzinie, działającego pod nadzorem. Chcieli pomocy w przedstawianiu treści, generowaniu zadań ćwiczebnych i dawaniu kształtującej informacji zwrotnej, a odmówili oddania ustalania celów i oceniania sumującego, nalegając na możliwość nadpisania w przypadkach niejednoznacznych. Chronili rdzeń roli nauczyciela: decydowanie, co warto poznawać, i osądzanie, czy zostało poznane.

Ocenianie to zadanie o największej pozornej korzyści i najsłabszej przenośności. Test porównawczy OpRaise uruchomił trzy czołowe modele na 761 autentycznych esejach z psychologii na studiach pierwszego stopnia, pochodzących od 125 studentów z trzech brytyjskich uczelni, przy 27 konfiguracjach promptu na model. Zgodność z ludzkimi przedziałami ocen wyniosła od 35% do 65% w zależności od instytucji. Oceny spłaszczyły się ku środkowi, więc najlepsze i najsłabsze eseje zostały ocenione najmniej trafnie, a modele zgadzały się ze sobą znacznie częściej niż z ludzkimi oceniającymi. Główne ustalenie autorów jest takie, że dowody zebrane w jednym kontekście nie przenoszą się na inny.

Z automatycznego oceniania esejów można korzystać, jeśli się je zwaliduje na własnym przedmiocie i własnych studentach, a decyzję zostawi przy człowieku. Jakość informacji zwrotnej z SI mówi, co sprawdzać: szybkość i objętość to nie to samo co użyteczność, a pedagogiczny osąd o tym, jakiego komentarza student potrzebuje teraz, zostaje przy prowadzącym.

Co nauczyciele akademiccy rozumieją błędnie

„31% to moja liczba.” To 259 nauczycieli przedmiotów przyrodniczych ze szkół w systemie K-12 przy przygotowaniu lekcji. Kierunek się przenosi; wielkość nie. Seminarium oparte na dyskusji może oszczędzić mniej, a kurs laboratoryjny z ograniczeniami bezpieczeństwa może nie oszczędzić nic w tej części, w której najbardziej chciano pomocy.

„Oszczędzanie czasu jest celem.” Eksperyment w Brazylii jest kontrprzykładem. Godziny przyszły za darmo, a dolny kwartyl nie zyskał nic. Celem jest to, co godziny kupują.

„Dobry szkic znaczy, że można oddać też następny krok.” Sześcioro nauczycieli wyznaczyło granicę na celach i ocenie sumującej nie bez powodu. Jakość biletu wyjściowego nie mówi nic o tym, czy narzędzie potrafi zdecydować, co ten bilet powinien sprawdzać.

Co się na Tobie odbije

„Próbowano i wynik był ogólnikowy.” Większość nauczycieli w badaniach brała pierwszy wynik i redagowała go ręcznie, zamiast iterować z kolejnymi promptami. Druga i trzecia tura, która podaje poziom klasy, lekturę, ostatnie trzy pozycje quizu i przykład tego, co jest dobre, zmienia wynik bardziej niż zmiana narzędzia. kompetencje w zakresie SI to tania inwestycja, a dopracowanie promptu jest miejscem, gdzie się zwraca.

„Jeśli przyspieszę, czas i tak wypełnią zebrania.” Prawdopodobnie, i to najczęstszy sposób, w jaki oszczędność znika. Zapisać miejsce docelowe tam, gdzie kierownik jednostki to zobaczy, zanim przestrzeń się wypełni.

„Informacja zwrotna z SI krzywdzi studentów, którym najtrudniej.” Dolny kwartyl w Brazylii nie zyskał nic, i to jest najmocniejsze ostrzeżenie na tej stronie. Połączyć oszczędność z zamierzonym użyciem. Wzrost rozmów jeden na jeden o 35% to właśnie to, co te klasy zrobiły z godzinami, i była to decyzja nauczyciela.

„Ocenianie to miejsce, gdzie naprawdę są moje godziny.” Tak, i to także miejsce, gdzie narzędzie najmniej się przenosi między instytucjami. Zwalidować lokalnie albo zostawić.

„To odbiera zawodowi kompetencje.” Wynik Pishtari jest uczciwą wersją: postrzegany wysiłek spadł, a dodany trening nie poprawił jakości projektowania. Zaoszczędzony wysiłek to nie zdobyta zdolność, a granica sześciorga nauczycieli jest rozsądnym miejscem, by ją trzymać, dopóki nie wiadomo, które zadania są które.

Co zrobić w tym tygodniu

1. Wypisać pięć zadań z ostatniego tygodnia, które skończyły się dokumentem potem redagowanym.

2. Wybrać to o najczystszej specyfikacji i napisać je z narzędziem, mierząc czas obu wersji.

3. Wstawić odzyskany czas w nazwane okno w kalendarzu: rozmowę ze studentem, drugi przebieg informacji zwrotnej albo porządne przeczytanie zestawu szkiców.

4. Napisać listę rzeczy, których się nie oddaje, i trzymać ją widocznie: cele, oceny końcowe, wszystko, co zależy od potrzeb jednej osoby.

5. Prowadzić dziennik przez dwa tygodnie, a potem zdecydować, które dwa zadania na stałe oddaje się narzędziu.

Dokąd dalej

Informacja zwrotna na skalę prowadzi pytanie o informację zwrotną dalej, a kompetencje kadry w zakresie SI wraz z rozwojem kadry w zakresie SI omawiają, co katedra może zbudować, żeby przestało to zależeć od indywidualnych eksperymentów. Przeprojektowanie oceny w erze SI i ograniczanie oszukiwania z użyciem SI zajmują się konsekwencjami dla oceniania. Jak SI zmienia przepływy pracy w nauczaniu to artykuł stojący za liczbami o przygotowaniu, a nadzór człowieka to zasada, na której ta strona się opiera.