Jakie są dowody na interwencje w zakresie kompetencji w SI w szkolnictwie wyższym?

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

Biuro prorektora chce efektu w zakresie kompetencji w SI w każdym programie studiów pierwszego stopnia do przyszłej jesieni, a plan na stole to dwugodzinny warsztat plus moduł biblioteczny. Albo grant sfinansował „kompetencje w zakresie SI” na uczelni i pierwsze posiedzenie komitetu dotyczy tego, co za to kupić. Ktoś w sali zapyta, co studenci będą potrafili po tym zrobić, a rozstrzyga to argument projektowy.

Odpowiedź dla tej sali, i stan dowodów w szkolnictwie wyższym, jest taka: kompetencje rosną, gdy studenci krytykują wynik SI w ramach realnego zadania dziedzinowego, wielokrotnie, z kolegami, a rosną najmniej, gdy pokazuje się im, co robi narzędzie. Średni efekt w literaturze interwencyjnej jest duży; rozrzut wokół tej średniej jest jeszcze szerszy, więc o wyniku decyduje projekt, a nie temat. Ankiety pewności siebie mierzą akceptację. Jeśli ma się twierdzić, że kompetencje wzrosły, trzeba testować wykonanie.

W skrócie

1. Włożyć kompetencje w kurs, na który studenci już chodzą, i w pracę, za którą już dostają oceny.

2. Sprawić, by zadeklarowali własną odpowiedź, zanim zobaczą odpowiedź modelu.

3. Oceniać krytykę, posługując się rubryką, której już używa się do tego zadania.

4. Przeprowadzić to więcej niż raz w ciągu semestru.

5. Jako dowód liczyć zadanie wykonaniowe, a przyrosty pewności siebie trzymać jako osobną pozycję.

Zbudować sekwencję wokół krytyki

Najmocniejszy przykład z sali w bazie wiedzy pochodzi z psychologii na studiach pierwszego stopnia. Richmond i Nicholls kazali studentom ocenić wygenerowany przez ChatGPT komunikat medialny według własnej rubryki kursu, nazwać błędy i go poprawić. Studenci na ogół widzieli, że proza jest gładka, a treść przekłamuje cele, metody i wyniki badania. Wobec poprzedniego rocznika z oceną rówieśniczą grupa krytykująca SI wypadła skromnie lepiej w następującej potem poprawie scenariusza (d = 0,36), bez istotnej przewagi w końcowym wideo (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Literatura, z której te przykłady pochodzą, opiera się na krótkich interwencjach, samoopisie i pracach projektowych, a to badanie niesie dwa z tych ograniczeń. Porównanie było historyczne, więc lepiej przygotowany rocznik dałby ten sam wzorzec. Przewaga pojawiła się też na materiale pośrednim i zniknęła na ukończonym, czego właśnie należałoby oczekiwać, gdyby krytyka uczyła poprawiania.

Beck i Brodersen wbudowali ten sam ruch w kurs ekonomii: studenci sami rozwiązują albo interpretują autentyczny problem, potem pobierają odpowiedź ChatGPT, porównują oba, krytykują SI, prowadzą refleksję i dyskutują z kolegami. Ich projekt wplata kompetencje w zakresie SI w rutyny uczenia aktywnego, które kurs już prowadził, takie jak Think-Pair-Share. Wkładem jest przenośny projekt dydaktyczny, poparty użyciem w sali, a nie eksperymentem (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Włożyć to w kurs, na który studenci już chodzą

Przegląd systematyczny Hingle i Johri porządkuje aktywności w zakresie kompetencji w SI za pomocą ram ICAP: bierne narażenie, aktywne manipulowanie, konstruktywne tworzenie i interaktywne współtworzenie. Interwencje występują we wszystkich czterech trybach, a przegląd przekonuje, że nie należy sprowadzać kompetencji w zakresie SI do jednokierunkowej sesji informacyjnej (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Praktyki, które popiera, to te, które da się wbudować w zadanie: studenci tworzą, krytykują, wyjaśniają i dyskutują wyniki SI z kolegami.

Opracowane przez NC State AI Literacy Continuum, kontinuum kompetencji w zakresie SI, opisuje progresję od jeszcze niezaangażowani i niekrytycznego użycia przez użycie świadome, krytyczną ocenę i doskonalenie, i zostało wdrożone z ponad 330 uczestnikami na kursach i warsztatach (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Jego obserwacje sugerują podział: krótkie doświadczenia przesuwały studentów w stronę użycia świadomego, podczas gdy krytyczna ocena i doskonalenie pojawiały się głównie w pracy trwałej, osadzonej w dyscyplinie. Nie było zwalidowanego pomiaru przed i po ani grupy porównawczej, więc to dowody z praktyki.

Kształcenie nauczycieli pokazuje ten sam sufit z innej strony. Interwencja projektowa Le i in. była pilotowana z 14 osobami na studiach magisterskich i ewaluowana z 29 osobami studiującymi na kierunku nauczycielskim. Zgłaszane poczucie własnej skuteczności w zakresie SI wzrosło, a studenci przesunęli się w stronę bardziej krytycznego pedagogicznego podejścia do generatywnego SI, przy czym przyrosty w zakresie etyki osiągnęły tylko istotność marginalną. Tak małe badanie projektowe nie może ustalić kompetencji (Development and evaluation of artificial intelligence literacy training for teacher education students).

Mierzyć to, co studenci potrafią

Trójpoziomowa metaanaliza 59 badań (172 wielkości efektu, 7 211 uczestników) daje najczystsze dostępne oszacowanie ilościowe: duży efekt ogólny (g = 0,837, p < 0,001). 95% przedział predykcji biegnie od -0,292 do 1,966, i to jest liczba do przytoczenia, gdy ktoś pyta, czy interwencja zadziała w danym programie. Dwa moderatory były istotne. Interwencje w Azji Wschodniej i Europie wypadły lepiej niż w Ameryce Północnej, a interwencje skupione na wiedzy wypadły lepiej niż te nastawione na umiejętności, postawy albo etykę. Większe, ale nieistotne efekty pojawiły się przy pedagogikach mieszanych lub refleksyjnych, narzędziach wspieranych generatywnym SI i wynikach zadaniowych.

Autorzy czytają własny wynik jako argument za wyjściem poza wiedzę w stronę umiejętności, praktyk, etyki i postaw, przez zintegrowaną pedagogikę refleksyjną i projekt uwzględniający kontekst kulturowy. Dla komitetu robią robotę dwie konsekwencje. Wynik, który się mierzy, kształtuje efekt, który się znajduje, więc warto wybrać wynik, na którym naprawdę zależy. Przedział predykcji tak szeroki przemawia za lokalnym pilotażem.

Pomiar to miejsce, w którym większość twierdzeń programowych upada. Zwalidowany test wykonaniowy GLAT przewidywał wykonanie zadania akademickiego wspieranego przez SI. Samoopisowa miara kompetencji w zakresie ChatGPT nie przewidywała (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). W całej bazie wiedzy deklarowane i pokazane kompetencje w zakresie SI rozchodzą się znacznie, co czyni pomiar edukacyjny i trafność oceniania częścią projektu, a nie dodatkiem w ewaluacji.

Burriss i in. zaostrzają to, co się liczy. Ich badanie 22 osób z jedenastej klasy tworzących wideo spoty społeczne o etyce SI przekonuje, że istniejące skale kompetencji i ramy kompetencyjne zakładają indywidualnie mierzalne wykonanie, co wyklucza współpracę i ekspresję twórczą. Proponują refleksje studentów, materiały multimodalne i dyskurs obywatelski jako uzupełnienie konwencjonalnych miar. Ich studenci rozwinęli krytyczne rozumienie etyki SI przez współpracę w ramach pedagogiki krytycznej, a to podważa ujęcia kompetencji jako listy umiejętności, jak też zbudowane na nich narzędzia. Piętnaście z 18 odpowiedzi na koniec jednostki potwierdzało nowe uczenie się, a autorzy zauważają, że projekt opiera się tradycyjnemu ocenianiu podsumowującemu ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Miara akceptacji jest osobną pułapką. Wang, Chuang i Wu przebadali 831 osób, uczniów i nauczycieli szkolnictwa K-12 na Tajwanie, po około 30 minutach z przewodnikiem po kompetencjach w SI dopasowanym do wieku, i znaleźli stabilną czteroczynnikową strukturę akceptacji. Postrzegana grywalność była najsilniej skorelowana z intencją behawioralną. Badanie mierzyło krótkoterminową akceptację, a nie przyrost wiedzy, kompetencje etyczne ani faktyczne użycie, a autorzy stwierdzają, że konstruktów akceptacji „nie wolno używać do wnioskowania o skuteczności uczenia się ani o powodzeniu wdrożenia” (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Planować błędy, których nauczanie nie naprawi

Trenowanie studentów w lepszym promptowaniu albo lepszym używaniu SI nie czyni z nich niezawodnie krytycznych użytkowników. W eksperymencie nad kontekstową sykofancją trening kompetencji w zakresie SI i promptowania zmniejszył, jak często model powtarzał błędy rozumowania uczestników, a propagacja błędu na dalszych etapach przetrwała ten trening (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

To należy czytać jako granicę tego, co kurs może obiecać. Edukacja w zakresie kompetencji nie może dźwigać całego ciężaru bezpieczeństwa, a program, który twierdzi, że dźwignie, przesunął ryzyko, a nie je usunął. Projekt narzędzi i zabezpieczenia systemowe zostają w planie.

Zaczynać tam, gdzie studenci już są

Şan i Orhan Karsak użyli psycholingwistycznego testu skojarzeń słownych z 436 osobami studiującymi na tureckich uczelniach (1 376 zakodowanych odpowiedzi, zgodność między oceniającymi κ = 0,87), by zmapować, jak studenci przedstawiają sobie SI. Skojarzenia skupiały się wokół użyteczności instrumentalnej, z dominacją wygody (f = 145) i szybkości (f = 110). Przejrzystość algorytmiczna, prywatność i pojęcia ładu były rzadkie i strukturalnie odizolowane od tego klastra użyteczności (τ Kendalla = -0,819). Ich argument z tego wynika: moduł etyczny dostarczony do struktury poznawczej, która nie ma schematu, by go przyjąć, prawdopodobnie zawiedzie. Programy nauczania potrzebują wyraźnych mostów od codziennej wiedzy o narzędziach do ram etycznych i ram ładu, a mikropoświadczenia powinny ustawiać treść w sekwencję zamykającą tę lukę, a nie powtarzać to, co studenci już wiedzą (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

Usytuowane ujęcie pochodzi z siedmiu grup fokusowych Dai i Chana z 28 osobami prowadzącymi badania na studiach podyplomowych, które używały SI nierówno w całym procesie badawczym. Użycie było cięższe w pracy proceduralnej o niskiej stawce, takiej jak formatowanie, tłumaczenie i wyjaśnianie, i wyraźnie ostrożniejsze tam, gdzie stawką był wkład naukowy. Uczestnicy sami wyznaczali granice między wspomaganiem a zastępowaniem własnego rozumowania. Autorzy traktują kompetencje w zakresie SI jako zdolność usytuowaną, a nie statyczną listę kompetencji, i zalecają rusztowanie każdego wymiaru w realnych zadaniach, zamiast egzekwowania binarnych reguł (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Sprawdzić poświadczenie, zanim się je przyzna

Certyfikaty i mikropoświadczenia to miejsce, gdzie kompetencje w zakresie SI są dostarczane na skalę i gdzie ewaluacja jest najcieńsza. Wu i Li zbudowali ważony przez ekspertów system wskaźników (AHP i Fuzzy-AHP z kontrolami Monte Carlo, 18 ekspertów) dla programów certyfikatów w zakresie SI. Kompetencje zawodowe kadry pokazały największą lukę między ważnością i satysfakcją, przy wysokiej postrzeganej ważności (0,1976) wobec niskiej obecnej satysfakcji. Ich dane stawiają zdolności kadry przed infrastrukturą technologiczną jako główne ograniczenie zmiany dydaktycznej. Adaptacyjność międzykulturowa dostała najniższą wagę strategiczną (0,0735), co autorzy czytają jako nastawienie na technologię w początkach certyfikacji (Evaluation Indicator System for AI Certificate Programs).

Pytanie, które z tego wynika, warto zadać własnemu programowi: czy poświadczenie certyfikuje trwałe kompetencje, czy odnotowuje obecność? I czy osoby, które tego uczą, są przygotowane, by to ocenić?

Co ta grupa rozumie błędnie

Warsztat to program nauczania. Obserwacje kontinuum umieszczają krytyczną ocenę i doskonalenie w pracy trwałej, osadzonej w dyscyplinie, a Le i in. ruszyli poczucie własnej skuteczności, nie ustalając kompetencji.

Pewność siebie jest miarą zastępczą kompetencji. Wynik GLAT jest bezpośredni: test wykonaniowy przewidywał wykonanie zadania, a miara samoopisowa nie.

Duży średni efekt oznacza, że program zadziała tutaj. Przy przedziale predykcji od -0,292 do 1,966 średnia opisuje dziedzinę; własna kohorta leży gdzieś wewnątrz tego zakresu.

Trening kompetencji czyni studentów bezpiecznymi użytkownikami. W eksperymencie z sykofancją trening zmniejszył powtarzanie, a propagację błędu zostawił nietkniętą.

Kompetencje to jedna umiejętność przenosząca się między narzędziami. Dai i Chan zastali badaczy wyznaczających różne granice w różnych częściach jednego procesu.

Co się na Tobie odbije

„Nie ma miejsca w programie.” Dodać krytykę do zadania, które już się ocenia, tak jak Beck i Brodersen wpięli ją w istniejące rutyny uczenia aktywnego. Osobny kurs kosztuje więcej i uczy tego samego.

„Nasi studenci dorastali z tą technologią.” Znajomość narzędzia to właśnie to, co zmierzyli Şan i Orhan Karsak: wygoda i szybkość, przy prywatności i ładzie strukturalnie odłączonych. Biegłość w posługiwaniu się czymś nie jest jej rozumieniem.

„Proszę po prostu podać wielkość efektu.” g = 0,837, p < 0,001, z 59 badań, przy 95% przedziale predykcji od -0,292 do 1,966. To druga liczba rządzi decyzją.

„Zrobimy ankietę wśród studentów na koniec semestru.” Wtedy zmierzy się akceptację. Wang i in. mówią wprost, czego to nie może uzasadnić, na próbie 831.

„Poświadczenie jest mechanizmem rozliczalności.” Wu i Li stwierdzili, że wiążącym ograniczeniem są kompetencje kadry, a adaptacyjność międzykulturowa miała najniższą wagę. Certyfikat odnotowuje, że ktoś coś ukończył.

„Nasza kadra nie jest gotowa, by tego uczyć.” Dowody się zgadzają. Zdolności kadry były największą luką w danych Wu i Li, a żadne badanie na tej stronie nie sprawdza, jak ją zamknąć.

Co zrobić w tym tygodniu

1. Wybrać jedno oceniane zadanie i dodać krok, w którym studenci tworzą własną odpowiedź, zanim sięgną po SI.

2. Napisać prompt do krytyki pod istniejącą rubrykę, żeby studenci oceniali wynik według standardu, którego już się używa.

3. Zaplanować drugie przeprowadzenie tej samej aktywności później w semestrze, w tym samym kursie.

4. Zastąpić jedno pytanie o pewność siebie na koniec semestru krótkim zadaniem wykonaniowym i je ocenić.

5. Zapytać osobę odpowiedzialną za mikropoświadczenie, jaki dowód kompetencji będzie akceptowany, i dostać odpowiedź na piśmie.

Dokąd dalej

Jak włączyć kompetencje w zakresie SI do mojego kursu? przenosi pytanie projektowe do planowania kursu. kompetencje w zakresie SI obejmują pojęcie i spór o jego pomiar, a strona luk badawczych omawia, gdzie ta literatura jest jeszcze cienka.