Na tej stronie

Tygodniowy przegląd badań AIEd #124 października 2026

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

Tygodniowa notka z Bazy wiedzy o sztucznej inteligencji w edukacji, o tym, co badania opublikowane w minionym tygodniu oznaczają dla prowadzących zajęcia, twórców oprogramowania, badaczy i administratorów.

W tym tygodniu przybyło 71 nowych badań i dwa nowe zasoby, dzięki czemu baza wiedzy zawiera teraz 1 805 streszczeń artykułów, 220 stron pojęć, 37 FAQ i 33 zasoby. Przeszukaj ją lub skorzystaj z SI, aby porozmawiać z bazą wiedzy.

Najważniejsze wyniki i pytania

Oba najważniejsze wyniki tego tygodnia mówią to samo: wynik punktowy nie jest rezultatem kształcenia. Trzyramienne badanie podniosło wyniki ćwiczeń z 29,85% przy otwartej sieci do 71,84% przy nieograniczonym ChatGPT, podczas gdy uczenie się pojęć nie różniło się wcale, więc wyższa ocena przy dostępie do SI nie jest dowodem, że studenci nauczyli się więcej. Trzynaście detektorów oznaczyło rękopisy napisane przez człowieka w tempie od 0% do 100% po jednej korekcie redakcyjnej, więc oznaczenie przez detektor nie jest dowodem niewłaściwego postępowania.

Czy korepetytor, który podnosi wyniki zadania domowego, podnosi też wynik egzaminu? Zrandomizowane badanie postawiło korepetytora od dowodów przed studentami, a następnie zmierzyło egzamin zdawany bez niego.
Kiedy oddana praca wygląda dobrze, ile z niej pochodzi od modelu? Pięćdziesiąt dziewięć dzienników czatu, porównanych z pracą, którą ci sami studenci oddali.
Jak często detektor SI oznacza tekst, który naprawdę napisał człowiek? Trzynaście detektorów, 135 389 par dokumentów, w których zmienił się tylko język.
Czy praktyka mówienia z SI poprawia mówienie, czy tylko jedną mierzoną jego cechę? Dziesięć badań, sześć cech CEFR i cztery badania, które podały jedną ocenę holistyczną.
Czy uczenie studentów korzystania z informacji zwrotnej buduje ich zaangażowanie, czy odwrotnie? Trzyfalowe badanie panelowe, które nie pozwala ustalić kolejności między tymi dwoma.
Gdzie korepetytorzy SI wciąż zawodzą, gdy student odmawia, wycofuje się lub eskaluje? 923 dialogi zbudowane z case studies rzeczywistych studentów, ocenione według tego, co udokumentowali praktycy.
Czy zarządzanie SI w edukacji jest prawem, wytycznymi czy życzeniem? 160 dokumentów, z których cztery mają wiążącą formę.

Dla prowadzących zajęcia

Korepetytor może podnieść wyniki zadania domowego i zostawić egzamin na tym samym poziomie

Chen i współpracownicy zrandomizowali 153 studentów pisania dowodów na Carnegie Mellon do wcześniejszego lub późniejszego otrzymania korepetytora od dowodów, a następnie zmierzyli egzamin zdawany bez SI w sali. Wyniki zadań domowych wzrosły o 2,56 punktu, gdy narzędzie było dostępne. Wyniki kolokwium nie różniły się. Gdy wszyscy mieli już dostęp i sami wybierali dawkę, każde 100 dodatkowych wiadomości do chatbota wiązało się z wynikiem niższym o 3,02 punktu na następnym egzaminie, a studenci z niższym wyjściowym poczuciem własnej skuteczności korzystali z niego najwięcej.

Co to zmienia w praktyce: ocena zdobyta przy otwartym korepetytorze nie jest dowodem na to, co student potrafi bez niego, więc ten ciężar musi udźwignąć zadanie bez wsparcia. Oznacza to również, że studenci najbardziej zagrożeni opieraniem się na nim to ci, którzy najmniej wierzą w siebie na starcie, co widać w sposobie korzystania, zanim widać to w ocenach.

Nieograniczony czat zawyża wyniki bardziej niż dobrze zbudowany korepetytor

W trzyramiennym badaniu na kursie CS1 w Monachium 275 studentów spędziło 90 minut nad ćwiczeniem w Javie z korepetytorem udzielającym podpowiedzi, z nieograniczonym ChatGPT lub z otwartą siecią. Wyniki ćwiczeń wyniosły 71,84%, 57,50% i 29,85%. Przyrost wiedzy pojęciowej wyniósł 0,83, 0,71 i 0,85 punktu, a różnica między warunkami była daleka od istotności (p = 0,773). Oba warunki z SI zmniejszyły frustrację; tylko korepetytor podniósł motywację.

Rozrzut wyników dotyczy głównie artefaktu, a nie uczenia się. Jeśli oceniają Państwo ćwiczenie, warunki z SI są oceniane za inne zadanie.

Chatboty budowane przez nauczycieli zawodzą w intencji, a nie w faktach

EduWild zebrał 1726 rozmów z 217 botów Playlab skonfigurowanych przez nauczycieli, w tym 900 od studentów, do których je wdrożono. Boty pomijały wymagane kroki przebiegu w 53,8% rozmów z użytkownikami końcowymi, nigdy nie ustalały swojej roli w 33,4% i przeciążały uczących się informacjami lub pytaniami w 37,1%.

Zanim wdrożą Państwo bota, którego zbudowali lub odziedziczyli, przeczytajcie jego pierwszą turę i sprawdźcie, czy mówi, czym jest i co stanie się dalej. Udokumentowane tu błędy tkwią w instrukcjach i można je naprawić w podpowiedzi, nie dotykając modelu.

Werdykt detektora nie jest dowodem

Zbiór danych od usługi redakcyjnej dał Parkowi i współpracownikom 135 389 par dokumentów, w których autor, temat i treść pozostają stałe, a zmienia się tylko język. W 13 detektorach odsetek fałszywych trafień na akademickim tekście pisanym przez człowieka wynosił od 0% do 100%, a te same poprawki przesuwały detektory w przeciwnych kierunkach. Osobno grupa egzaminatorów zatrudnianych doraźnie straciła swój detektor całkowicie, ponieważ oznaczał on narzędzia do sprawdzania gramatyki, i obecnie czyta raczej pod kątem sfabrykowanych bibliografii i oderwania od materiałów kursu.

Jeśli stawiali Państwo przed studentem wynik detektora, zwłaszcza studentem piszącym w drugim języku, to jest tydzień, by przestać używać detektorów. Oparte na czytaniu sygnały z drugiego badania są praktyczną alternatywą.

Projektowanie oceniania to wybór spośród trzech ograniczeń, a nie poszukiwanie zasady

Pedlow, Fischer i Williams twierdzą, że problemem nie jest brak zasad projektowania, lecz brak sposobu rozumowania o tych, które ciągną w przeciwne strony. Ich podwójny trylemat traktuje autentyczność, obserwowalność i wykonalność w ocenianiu oraz konkretność, terminowość i nakład pracy w informacji zwrotnej jako ograniczenia, między którymi świadomie się wymienia.

Postawieni przed zadaniem przeprojektowania oceniania na potrzeby SI otrzymują Państwo w ten sposób krótki argument, który można zapisać i obronić, zamiast pytania otwartego.

Przyrosty w mówieniu dzięki chatbotom są nierówne w zależności od cechy

Soriano-Gonzalez i Belda-Medina przejrzeli 306 rekordów, zawężając je do dziesięciu badań, i zapytali, która z sześciu cech CEFR języka mówionego faktycznie się zmieniła. Zakres i zrozumiałość poprawiły się w czterech badaniach każda, spójność w jednym, interakcja prawie w żadnym. Cztery z dziesięciu badań podały jedną ocenę holistyczną, więc ich przyrostów nie można w ogóle przypisać do konkretnej cechy.

Twierdzenie dostawcy o „poprawie mówienia” jest zgodne ze zmianą, której badanie nigdy nie zmierzyło. W przypadku słuchania Goh i Aryadoust uznają dowody za znacznie słabsze.

Kompetencja w zakresie informacji zwrotnej i zaangażowanie napędzają się wzajemnie

Trzyfalowe badanie panelowe z 399 studentami studiów licencjackich wykazało, że kompetencja w zakresie informacji zwrotnej od SI przewiduje późniejsze zaangażowanie sprawcze (β = 0,222), a ścieżka odwrotna jest równie silna (β = 0,263), bez statystycznych podstaw do ustalenia kolejności między nimi.

Uczenie studentów czytania informacji zwrotnej i korzystania z niej nie jest warunkiem wstępnym, który kończy się przed rozpoczęciem zaangażowania. Oba poruszają się razem, więc kurs, który rozwija tylko jedno z nich, działa przeciwko sobie.

Dla twórców oprogramowania

Trudne przypadki to miejsce, w którym korepetytorzy wciąż zawodzą, a wyszukiwanie strategii pomaga modelom średniej klasy

TutorCaseBench zamienił studia przypadków jakościowych w 923 sześcioturowe dialogi obejmujące pięć typów wyzwań i ocenił 11 modeli według rubryk właściwych dla poszczególnych przypadków. Najlepszy model spełnił udokumentowaną interwencję w 55,8% przypadków otwartych i to jest liczba, pod którą należy projektować. Dostarczenie strategii udokumentowanej w literaturze przypadków podniosło 10 z 11 modeli średnio o 9,9 punktu, przy czym Llama 4 Maverick przesunęła się z 41,0% do 64,8%, a najsilniejszy model pozostał na poziomie 71,3%.

Wyszukiwanie strategii referencyjnych warto budować dla modeli, na które Państwa stać. Nie uratuje ono modelu czołowego, który już zna ten wzorzec.

Waliduj na wdrożonych rozmowach, a nie na laboratoryjnych podpowiedziach

Zbiór danych EduWild łączy każdą rozmowę z podpowiedzią systemową i ustawieniami, które za nią stały, i właśnie to czyni awarię analizowalną: 53,8% rozmów z użytkownikami końcowymi pominęło wymagany krok. Konfiguracja tworzona przez nauczyciela to odrębna powierzchnia awarii niż możliwości modelu, a warstwa podpowiedzi odzyskała intencję bez odbierania nauczycielowi kontroli.

Jeśli Państwa produkt pozwala nauczycielom pisać instrukcje, zbiór testowy musi składać się z ich instrukcji, zebranych po wdrożeniu.

Wymiar rubryki w jakości informacji zwrotnej to ten, którego nikt nie mierzy

Yang przeanalizował 68 badań nad informacją zwrotną generowaną przez SI. Trafność dowodowa pojawia się w 47 z nich, użyteczność pedagogiczna w 58, a zgodność z rubryką i zadaniem w 19. Zgodność to wymiar, który produkt może kontrolować najbardziej bezpośrednio, i zarazem najmniej zbadany.

To otwarte pole: budujcie pod rubrykę, której zadanie już używa, i mówcie o tym wprost, ponieważ opublikowane dowody nie powiedzą nabywcom, czy robi tak ktokolwiek inny.

Możliwość działania to cel projektowy, a nie dodatek

Tamme, Schilling i Hantel proponują zastąpienie pisemnej ankiety na koniec semestru wywiadem telefonicznym prowadzonym przez agenta SI, argumentując, że narzędzie pisemne zawodzi pod względem odsetka odpowiedzi, głębi i możliwości działania. To propozycja, a nie test terenowy. Twierdzenia projektowe są jednak wystarczająco konkretne, by je zapożyczyć: zadawaj pytania pogłębiające, wymagaj uzasadnienia, zwracaj coś, na czym odbiorca może działać.

Dla badaczy

Samoocena i wyniki często prowadzą do różnych wniosków

Fan i współpracownicy zmapowali metody pomiaru w 2099 rekordach, a następnie zbadali 51 przypadków, w których narzędzie samooceny oraz test, ocena lub zapis śladów mierzyły ten sam konstrukt. Odpowiedź na pytanie, czy oba się zgadzają, brzmi często: nie. Tam, gdzie się rozchodzą, obserwowalność konstruktu wyjaśnia to lepiej niż jakość badania.

Zastąpienie jednego drugim to decyzja pomiarowa z określonym kierunkiem, a nie wygoda. Podawajcie, na którym z nich opiera się twierdzenie.

Artefakty ukrywają odciążanie, więc mierz proces

Kontorovich i Wallach zakodowali 429 podpowiedzi z 59 dzienników czatu jako ślady samoregulacji i porównali każdy z oddaną pracą. Dziesięciu z piętnastu studentów, którzy wykonali wszystkie trzy zadania, zmieniało rolę przypisywaną modelowi w miarę zmiany zadania, a jednak 53 z 59 prac odtworzyło produkt modelu lub zmieniło go tylko formalnie.

Sama oddana praca nie pozwala odróżnić korzystania od zastąpienia. Dane o procesie pozwalają, a zastosowany tu schemat kodowania można wykorzystać ponownie.

Zwalidowana skala polegania w zadaniach otwartych

Większość miar polegania wnioskuje o zależności z tego, czy student poszedł za poprawną radą, co wymaga odpowiedzi, którą można sprawdzić. Hou i współpracownicy zbudowali i zwalidowali 16-elementową skalę do uczenia się opartego na problemach, gdzie taka odpowiedź nie istnieje.

Benchmarki detektorów tracą aktualność, więc podawaj przeciwnika

Ren, Raghavan i Garg rozdzielają pytanie o wykrywanie na rozdzielność i ruch. Nadzorowane punkty odniesienia oddzielają prozę ludzką od maszynowej niemal doskonale w obrębie rozkładu, podczas gdy komercyjny detektor Pangram spadł do 63,5% zbalansowanej dokładności i 27% czułości wobec podpowiedzi napisanej tak, by go ominąć.

Liczby podane bez próby ominięcia opisują świat, którego już nie ma. A literatura przeglądowa jest cienka tam, gdzie to najbardziej istotne: z 51 badań nad informacją zwrotną od generatywnej SI w pisaniu w drugim języku 5 sprawdza, czy informacja zwrotna jest trafna.

Dla administratorów

Większość zarządzania SI w edukacji to wytyczne, a nie prawo

Elmahjub i współpracownicy uważnie przeczytali 160 anglojęzycznych dokumentów dotyczących zarządzania, wybranych z 498 rekordów. Tylko 4 mają formalną postać prawną lub regulacyjną, podczas gdy 92 to wytyczne, ramy, zestawy narzędzi lub podręczniki. Odpowiedzialność pojawia się w 146 dokumentach, ale tylko w 100 towarzyszy jej wskazany organ nadzoru.

Polityka bez wskazanego właściciela i mechanizmu jest deklaracją intencji. Przegląd daje pola, według których można zewnętrznie sprawdzić własny dokument.

Zakup detektora wymaga liczby fałszywych trafień

Trzynaście detektorów, akademicki tekst napisany przez człowieka jako kontrola, fałszywe trafienia od 0% do 100%. Co najmniej jedna instytucja wycofała już swój detektor, ponieważ oznaczał narzędzia do sprawdzania gramatyki. Jeśli dostawca nie poda odsetka fałszywych trafień na pracy ludzkiej w Państwa dyscyplinie, nie można wycenić ryzyka dyscyplinarnego.

Udokumentowany kierunek w ocenianiu to proces, autentyczność i praca ustna

Crompton i Burke analizują 72 badania z 24 krajów i 20 dyscyplin i znajdują trzy powtarzające się odpowiedzi projektowe: ocenianie zorientowane na proces, autentyczne i ustne. Baza dowodowa jest szeroka i metodologicznie cienka, większość badań obejmuje jeden kurs, i nic z tego nie zmienia kierunku.

Wśród nauczycieli wdrożenie wyprzedziło rozumienie

Wśród 132 indonezyjskich nauczycieli K-12 96,2% popiera korzystanie z SI przez nauczycieli, a 84,6% przez uczniów, jednak 69,2% podało niejasny lub błędny opis tego, co chatbot robi z instrukcją.

Poparcie w ankiecie nie jest kompetencją w klasie. Widoczna tu luka w rozwoju zawodowym pojawia się przed wdrożeniem jakiegokolwiek narzędzia, a samo narzędzie jest wystarczająco krótkie, by użyć go ponownie jako oceny potrzeb.

Zastąp ankietę kursową tylko wtedy, gdy zamiennik pozwala działać

Propozycja wywiadu głosowego celuje w tryby awarii, które czynią ankiety na koniec semestru bezużytecznymi: odsetek odpowiedzi, głębię, zadowalanie się byle odpowiedzią i odpowiedzi, z którymi nikt nie może nic zrobić. Traktujcie ją jako specyfikację dla tego, czego byście użyli zamiast ankiety, a nie jako dowód, że wersja z SI działa.

Pojęcia w centrum uwagi

Cztery strony pojęć włączyły wyniki tego tygodnia do warstwy syntezy. Każda jest stroną stałą, a nie jednorazową, więc nowe dowody współistnieją z tym, co strona już argumentowała.

Nauka języków

Strona mówi teraz wprost, że dowody na przyrosty w mówieniu dzięki chatbotom są nierówne w zależności od cechy i że cztery z dziesięciu zsyntetyzowanych badań podały jedną ocenę holistyczną, dlatego ich przyrostów nie można przypisać do konkretnej cechy. Przeczytajcie stronę o nauce języków, zanim kupią Państwo lub zbudują praktykę mówienia.

Nauczanie inteligentne

Jej nowym odkryciem jest wynik dotyczący wyszukiwania: dostarczenie strategii referencyjnych podnosi słabe korepetytory i pozostawia silne tam, gdzie były. To decyzja budowlana, a strona o nauczaniu inteligentnym oddziela ją od starszych twierdzeń o jakości podpowiedzi.

Miary samooceny

Najostrzejszym nowym przypadkiem luki w samoocenie jest intencja: jedna ocena obejmowała korzystanie zorientowane na uczenie się, zorientowane na skrót i mieszane w tej samej próbie 340 studentów, a za twierdzeniem stoją 68 ponownie podanych pozycji i osiem wywiadów, wszystko odnotowane na stronie o miarach samooceny.

Zarządzanie SI

Strona zaczyna się teraz od odkrycia o formie instrumentów: 4 z 160 dokumentów wiążących, 92 doradcze, a odpowiedzialność wskazana jako czyjś obowiązek tylko w 100. Strona o zarządzaniu przeformułowuje pytanie z tego, co polityka mówi, na to, czy może działać.

Nowe zasoby

W tym tygodniu do biblioteki zasobów dołączyły dwa zasoby: jeden napisany dla instytucji, która musi zdecydować, jak oprogramowanie powstaje z pomocą SI, i jeden dla prowadzącego zajęcia, który musi zdecydować, czy kod oddany przez studenta jest własnością studenta.

Campus AI Development

Campus AI Development to bezpłatny przewodnik internetowy napisany z perspektywy instytucji. Przedstawia sposoby, w jakie kampus może tworzyć oprogramowanie z pomocą SI, od „vibe codingu” po nadzorowaną pracę wielu agentów, i łączy każdy sposób ze ścieżką przeglądu, limitem danych i kontrolami, które do niego pasują. Towarzyszy on Campus AI Framework, który rozstrzyga, czy narzędzie SI może być w ogóle użyte; ten przewodnik opisuje, co zrobić, gdy odpowiedź brzmi „tak”. Strona nie publikuje licencji na swój tekst.

Code Viva

Code Viva to bezpłatne narzędzie przeglądarkowe, które pozwala skalować obronę ustną: pisemne, ograniczone czasowo kolokwium ustne dla każdego studenta kursu programowania, po piętnaście do dwudziestu minut, bez prowadzącego w sali. Czyta oddany kod studenta i historię commitów, pisze od czterech do sześciu pytań o funkcje, nazwy i commity samego studenta i daje każdemu studentowi osobisty link, z którego odpowiada. Pytania powstają z reguł zastosowanych do oddanej pracy, a nie z wywołania modelu, a prowadzący otrzymuje proponowane oceny z zacytowanymi dowodami za każdą z nich, do zatwierdzenia lub odrzucenia. Strona nie publikuje licencji ani repozytorium źródłowego.

Dodane w tym tygodniu

Pozostałe badania, wraz z metodami i streszczeniami, są wymienione dzień po dniu na stronie dziennika.

Notatki o stronie

W tym tygodniu pojawiły się dwie strony. Archiwum newslettera zawiera każdy numer, wraz z własnym kanałem obok kanału bazy wiedzy, a indeks pojęć umieszcza wszystkie 220 stron pojęć na jednej stronie, w tych samych sekcjach co pasek boczny, więc jest teraz miejsce, do którego można odesłać czytelnika chcącego zobaczyć cały zbiór.

Reszta pracy dotyczyła tego, co już istniało: strony pojęć i FAQ zostały przepisane, tekst skrócony, a tłumaczenia zaktualizowane we wszystkich językach.

Strona jest statyczną kompilacją, a jej treść, kod i narzędzia są publiczne pod adresem github.com/edtechdev/aied, gdzie można przeczytać każdą opisaną powyżej zmianę.

Śledź aktualizacje

Każdy numer można otrzymać przez kanał newslettera w czytniku kanałów, wklejając ten sam kanał do Blogtrottr, aby nowe numery przychodziły e-mailem w wybranym przez Państwa harmonogramie, lub śledząc go na LinkedIn, gdzie każdy numer jest publikowany jako newsletter LinkedIn.

Tygodniowy przegląd badań AIEd pochodzi z Bazy wiedzy o sztucznej inteligencji w edukacji, którą generuje agent SI. Ten numer przygotował ten sam agent SI, pod redakcyjnym nadzorem twórcy strony, a każde twierdzenie powyżej linkuje do strony, z której pochodzi.

Baza wiedzy jest przekazana do domeny publicznej na licencji CC0 1.0. Żadne prawa nie są zastrzeżone.

Znalazłeś problem z treścią? Zgłoś go na GitHubie lub skontaktuj się z twórcą strony, Doug Holton.

Źródło Historia Edytuj Czat