Jak badania nad SI w edukacji powinny uwzględniać równość, dostępność, prywatność, etykę i bezpieczeństwo pedagogiczne?

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

Protokół jest do oddania w piątek. Rozdział 7, o etyce, mówi, że ryzyka będą monitorowane. Rekrutacja idzie przez istniejący kurs pierwszego roku, a akapit o ograniczeniach zauważa, że wyniki mogą się nie uogólniać. Panel oceniający zapyta, kto prawdopodobnie skorzysta, czy studenci z niepełnosprawnościami mogą używać tego narzędzia, co dzieje się z logami interakcji i jak wygląda szkodliwa odpowiedź korepetytora w danych. Cztery pytania i żadne nie ma jeszcze rozdziału.

Odpowiedź dla panelu: równość, dostępność, prywatność i bezpieczeństwo pedagogiczne należą do projektu i do miar wyników od pierwszego szkicu. Każde z nich zmienia to, kogo się rekrutuje, co się mierzy i co się raportuje, więc trzeba je przypiąć do decyzji, dopóki protokół jest jeszcze edytowalny.

W skrócie

1. Nazwać porównanie podgrup, zanim zbierze się dane, i umieścić je w planie analizy.

2. Wprowadzić uczących się z niepełnosprawnościami do sesji projektowej i testować rzeczywisty interfejs.

3. Zapisać kompromis dotyczący prywatności, wraz z tym, kto go rozstrzygnął i kto może go odwrócić.

4. Testować bezpieczeństwo na całych rozmowach, w scenariuszach własnej dyscypliny.

5. Łączyć dane o wynikach z wywiadami i zostawiać ślad, który czytelnik może obejrzeć.

Zapytać, kto odnosi korzyść

Pojęcie podziału cyfrowego rozdziela trzy podziały: dostępu, umiejętności i wyników, co znaczy, że usunięcie bariery dostępu za pomocą chatbota nie daje równych korzyści. Trzeba projektować pod trzeci podział. Raportować wyniki podgrup i testować zróżnicowaną skuteczność zamiast opierać się na średniej ogólnej (zróżnicowane efekty między grupami uczących się).

Badanie porównawcze 45 uniwersytetów nigeryjskich (15 federalnych, 15 stanowych, 15 prywatnych) pokazuje, jak się one kumulują. Ogólna integracja SI była umiarkowana, M = 4,79 na skali 10-punktowej, zakres 1,83-7,83. Typ ładu jej nie przewidywał (F(2,42) = 1,01, p = 0,372). Przewidywały ją wiek instytucji (β = 0,43, p = 0,016) i lokalizacja w regionie południowo-zachodnim (β = 0,31, p = 0,029). Zdolności wewnętrzne wzmacniały się nawzajem (r = 0,79-0,80), a współprace międzynarodowe i partnerstwa z przemysłem kumulowały się wzajemnie (r = 0,74), co autorzy podsumowują jako „kontakty rodzą kontakty”. Ramy polityki były najsłabsze (M = 4,09; tylko 27% instytucji uzyskało 6 lub więcej), zostawiając lukę między formalną strategią a operacyjną aktywnością programową.

Wynikają z tego dwie konsekwencje projektowe. Kierować działania do nowszych instytucji i regionów słabiej obsłużonych, bo kategoria nie wyznacza zdolności. I uwzględniać konteksty Globalnego Południa, które szersza baza dowodowa nadal pomija.

Wprowadzić uczących się z niepełnosprawnościami do pokoju projektowego

Włączać uczących się z niepełnosprawnościami w projektowanie i ewaluację, testować rzeczywiste interfejsy wobec wymogów dostępności i zapewniać równoważne drogi uczestnictwa oraz pokazania tego, czego się nauczyli. Zgodność techniczna i inkluzywne nauczanie to dwa osobne testy, a Dostępność obejmuje oba.

Badanie projektowania wrażliwego na wartości ze studentami college'u, prowadzącymi i deweloperami pokazuje tę pracę w praktyce. Dało ono 16 cech zgodnych z wartościami w obszarach wyjaśnialności (E1-E5), kontroli z człowiekiem w obiegu (H1-H9) i prywatności (P1-P4) i wydobyło napięcia, a nie uporządkowane odpowiedzi: przejrzystość wobec interpretowalności, prywatność wobec wglądu dydaktycznego, sprawczość uczącego się wobec prowadzonego przez system rusztowania. Trzeba się tych napięć spodziewać i zapisać, w którą stronę się poszło.

Rozstrzygnąć kompromis dotyczący prywatności i nazwać tego, kto decyduje

Zbierać dane, których potrzebuje cel edukacyjny, czynić użycie danych i ograniczenia systemu przejrzystymi i utrzymywać ludzką odpowiedzialność w konkrecie. Rzetelność, zgoda, uprzedzenia, wyjaśnialność, autonomia uczącego się i konsekwencje decyzji zapośredniczonych przez SI to rdzeniowe wymiary etyki, i w praktyce wchodzą sobie w drogę. Studenci chcieli kontroli nad analityką uczenia się i danymi afektywnymi; prowadzący chcieli wglądu, by wspierać uczenie się. Oba stanowiska są obronne, dlatego decyzja potrzebuje nazwanego właściciela.

Gdy systemy przejmują sprawczość, pytanie staje się strukturalne. Krytyczny przegląd ładu dla SI agentowej argumentuje, że autonomia nie powinna przekraczać dojrzałości dowodów ani siły odpowiedzialnej kontroli człowieka. Proponuje wspólny język raportowania: poziomy autonomii A0-A4, poziomy nadzoru O0-O4, etapy dojrzałości dowodowej M0-M5. Zastosowania o poważnych skutkach (A4: przyjęcia, ocenianie, awans) wymagają replikowanej walidacji odpowiedniej dla kontekstu i ciągłej władzy człowieka, a wysoki wynik testu porównawczego nie zastępuje ani jednego, ani drugiego.

Testować szkody, które pomijają testy porównawcze

Bezpieczeństwo pedagogiczne znaczy mierzyć to, czego test porównawczy nie zmierzy: nadmierne poleganie, nadmierne ujawnianie odpowiedzi, utrwalanie błędnych przekonań, utratę sprawczości, tłumienie metapoznania, nierówne traktowanie, szkodę motywacyjną i niedopasowanie dydaktyczne. Testować interakcje wieloturowe w scenariuszach swoistych dla dyscypliny. Synteza dotycząca bezpieczeństwa pedagogicznego i test SafeTutors pokazują, dlaczego system sprawiający wrażenie trafnego nadal może szkodzić uczeniu się.

Praktycy zbiegają się w zgodnym projekcie. W badaniu projektowania partycypacyjnego z sześcioma nauczycielami szkół średnich nauczyciele niezależnie zaprojektowali „ograniczonych ekspertów”, a nie autonomiczne agenty: wąska dziedzina, nadzór człowieka i trzy warstwy ochronne w postaci granic dziedziny, filtrowania treści i możliwości przejęcia przez nauczyciela. Przyjęli z zadowoleniem SI do prezentowania treści, dostarczania ćwiczeń i udzielania kształtującej informacji zwrotnej, a odmówili delegowania wyznaczania celów czy oceniania podsumowującego. Nadzór ujęli jako odpowiedzialność zawodową.

Łączyć metody i pokazywać drogę od danych do twierdzenia

Zdezagregowane wyniki ilościowe mogą ujawnić zróżnicowane efekty. Wywiady, obserwacje, grupy fokusowe i wspólne projektowanie wydobywają bariery, szkody, założenia kulturowe i doświadczenie uczącego się, które pomijają wyniki zbiorcze. Synteza metod badawczych w AIED traktuje triangulację jako konieczną, bo żadna pojedyncza metoda jakościowa ani ilościowa nie maksymalizuje jednocześnie wnioskowania przyczynowego, trafności ekologicznej, rozumienia kontekstu i uogólnialności.

Własna analiza wymaga tej samej dyscypliny. Propozycja uzasadnialności argumentuje, że interpretacja wspierana przez SI pozostaje możliwa do obejrzenia, zakwestionowania i rewizji, gdy towarzyszą jej artefakty, takie jak tabele tematyczne powiązane ze źródłami, stosy soczewek i rzeki dowodów. Płynne podsumowanie nie powinno ukrywać drogi, która je wytworzyła.

Trzeba też rozdzielać poziomy wyników. Przegląd SI agentowej oddziela wyniki artefaktu, takie jak trafność i jakość informacji zwrotnej, od korzyści dla uczącego się. Wyniki artefaktu mogą być konieczne i nigdy nie są wystarczające, a wyniki równościowe i instytucjonalne to miejsca, gdzie dowody są najcieńsze.

Co ta grupa rozumie błędnie

Równość znaczy dostęp. Pojęcie podziału cyfrowego stawia umiejętności i wyniki na tej samej liście co dostęp, a badanie Adeniranye wykazało, że zdolności różnią się zależnie od wieku instytucji i regionu, podczas gdy typ ładu nie przewidywał niczego.

Dostępność to lista kontrolna dla interfejsu. Badanie projektowania wrażliwego na wartości wydobyło napięcia między wyjaśnialnością a interpretowalnością, których żadna lista kontrolna nie rozstrzyga.

Prywatność to formularz zgody. Badanie projektowe wykazało, że studenci i prowadzący chcą od tych samych danych rzeczy przeciwnych, a przegląd ładu wiąże autonomię z dojrzałością dowodów.

Bezpieczeństwo znaczy, że model odmawia szkodliwych próśb. Bezpieczeństwo pedagogiczne obejmuje nadmierne poleganie, utrwalanie błędnych przekonań i utraconą sprawczość, czego test odmowy nie dotyka.

Jedna metoda odpowiada na pytanie. Synteza metod mówi wyraźnie, że te cztery właściwości wymieniają się wzajemnie.

Co się na Tobie odbije

„Równością zajmiemy się w dyskusji.” Wtedy plan analizy nie może jej przetestować. Nazwać porównanie podgrup teraz albo ustalenie przyjdzie po zamknięciu danych.

„Nasza próba jest za mała na analizę podgrup.” Wtedy trzeba powiedzieć, co ona wspiera, i zaraportować, kto w niej był. Zerowy wynik podgrupy z próby o zbyt małej mocy nie jest dowodem równości.

„Testowanie dostępności to zadanie biura ds. niepełnosprawności.” Ich przegląd obejmuje zgodność. To, czy uczący się może pokazać, co wie, w ramach własnej aktywności, jest pytaniem projektowym, i dlatego badanie projektowe opisane wyżej wprowadziło studentów do pokoju.

„Dane są zanonimizowane, więc prywatność jest załatwiona.” Napięcia w badaniu projektowym dotyczyły kontroli i widoczności, a nie identyfikatorów. Studenci chcieli wiedzieć, kto widzi ich dane afektywne i dlaczego.

„Nasz zestaw testów bezpieczeństwa przechodzi.” Na których turach? SafeTutors wykazał degradację modeli nauczycielskich w długich rozmowach, a właśnie tak długo studenci naprawdę będą ich używać.

Co zrobić w tym tygodniu

1. Dodać do planu analizy akapit o podgrupach, nazywając, które grupy i który wynik.

2. Zarezerwować jedną sesję projektową z uczącymi się z niepełnosprawnościami lub z personelem, który ich wspiera, zanim interfejs będzie ostateczny.

3. Zapisać decyzję o prywatności jako zdanie z właścicielem: co jest zbierane, kto to widzi, kto może to zatrzymać.

4. Przygotować dziesięć wrogich tur rozmowy w swojej dziedzinie i przeprowadzić je wobec systemu.

5. Dodać do folderu analizy jeden artefakt możliwy do obejrzenia, na przykład tabelę powiązaną ze źródłami albo zestaw zakodowanych fragmentów.

Dokąd dalej

Ocenianie interwencji z SI: metody to towarzysząca strona o miarach i projekcie. 10 najważniejszych ustaleń dla nauczycieli akademickich niesie te ograniczenia w ustaleniach 9 i 10, Rozprawianie się z częstymi nieporozumieniami o SI w edukacji zajmuje się obiekcjami interesariuszy, a Luki badawcze w AIED wymienia miejsca, gdzie brakuje dowodów.