Baza wiedzy AIEdAIEd KB
Na tej stronie

Wszystkie numery

Tygodniowy przegląd badań AIEd #3

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

Tygodniowa notka z Bazy wiedzy o sztucznej inteligencji w edukacji, o tym, co badania opublikowane w minionym tygodniu oznaczają dla prowadzących zajęcia, twórców oprogramowania, badaczy i administratorów.

Od ostatniego numeru do bazy wiedzy dołączyło 159 nowych badań, osiem nowych stron pojęć, dwa nowe FAQ i trzy nowe zasoby, która zawiera teraz 2 085 streszczeń artykułów, 230 stron pojęć, 44 FAQ i 40 zasobów. Przeszukaj ją lub skorzystaj z SI, aby porozmawiać z bazą wiedzy.

Spis treści

Najważniejsze wyniki i pytania

Nowe FAQ

W tym tygodniu do FAQ dołączyły dwie nowe odpowiedzi.

Jak SI może pomóc uczniom w czytaniu i rozumieniu tekstu?

Odpowiedź o czytaniu traktuje etykiety poziomu czytania jako zgrubne szacunki: oceny kilku rzeczywistych czytelników biją wzór, a SI polecona, by udawać ucznia, nie powie, jak trudny będzie tekst w odbiorze. Używajcie SI do znajdowania, upraszczania i opatrywania tekstów glosami, a potem wypróbujcie wynik z uczniami i trzymajcie oryginał obok.

Jak obciążenie i niesprawiedliwość SI ujawniają się w edukacji i co możemy z tym zrobić?

Odpowiedź o obciążeniu prosi o wskaźniki błędów dla grup, których Państwo uczą, ponieważ średnia może ukryć lukę, a awaria może tkwić w punktowaniu, korepetycjach, pulpitach lub detekcji. Wpiszcie raportowanie grupowe i ścieżkę odwoławczą do postępowania zakupowego, a naprawcie sam potok.

Nowe pojęcia

W tym tygodniu do bazy wiedzy dołączyło osiem stron pojęć.

Edukacja czytelnicza

Edukacja czytelnicza ma teraz stronę, która rozdziela cztery rzeczy często noszące jedną etykietę: pomaganie czytelnikowi, ocenianie czytania, dostosowywanie tekstu i pomiar trudności. Powołuje się na badanie, w którym 193 studentów oceniło 3954 zdania; 72,8% uznało je za łatwe lub bardzo łatwe, nawet gdy wskaźniki Flescha mówiły co innego, więc etykieta poziomu klasy jest słabym przewodnikiem po tym, jak konkretny czytelnik odbierze tekst.

Refleksja

Refleksja ma nową stronę, która oddziela ją od bieżącego monitorowania zwanego metapoznaniem. Pierwsze pytanie projektowe brzmi, czy refleksję napisał student. W eksperymencie z 302 dorosłymi podpowiedzi do refleksji podwoiły czas z informacją zwrotną i obcięły ćwiczenie o 40%, pozostawiając niższe opanowanie, 65% wobec 79%, więc wybór momentu ma znaczenie równie duże jak sama podpowiedź.

Obciążenie automatyzacją

Obciążenie automatyzacją nazywa ludzki nawyk, który może zamienić poprawną rekomendację SI w błędną decyzję: przyjęcie odpowiedzi, którą poddano by w wątpliwość, gdyby się do niej doszło samemu. Strona zbiera miejsca, w których to się dzieje w edukacji, od ocen esejów i wczesnych alertów po nadzór egzaminacyjny, i pokazuje, jak krok przeglądu istniejący tylko na papierze nie zdoła tego wychwycić.

Edukacja obywatelska i polityczna

Edukacja obywatelska i polityczna mapuje lukę w dowodach i syntetyzuje dziedzinę. Analiza 310 planów lekcji wygenerowanych przez SI wykazała, że 90% aktywności wymagało tylko przypomnienia, zrozumienia lub podstawowego zastosowania; 94% miało prawie żadnej treści wielokulturowej; a żadne badanie w korpusie nie mierzyło uczenia się obywatelskiego.

Biblioteki

Biblioteki ujmują bibliotekę jako miejsce, usługę i grupę profesjonalistów. Przegląd 29 badań wskazuje, że adopcja koncentruje się w obsłudze informacyjnej i katalogowaniu, a pilotaż Public AI Libraries czyni ze wspólnego, obsadzonego personelem dostępu argument o równości.

Awatary SI i syntetyczni wykładowcy

Awatary SI mapują role, które może pełnić syntetyczny człowiek, od nagranego wykładowcy i korepetytora po symulowanego pacjenta i egzaminatora. Dowody są nierówne, a realistyczna twarz niewiele mówi o uczeniu się; ujawnienie i zaufanie mają znaczenie równie duże jak model.

Analityka czujników i śledzenia wzroku

Analityka czujników i śledzenia wzroku obejmuje okulografię, sygnały mózgu i serca oraz postawę ciała z kamery jako sposoby wnioskowania o uwadze i zaangażowaniu oraz obciążeniu poznawczym. Dziedzina jest lepsza w obserwowaniu uczących się niż w zmienianiu nauczania, a strona traktuje prywatność, obciążenie i lukę między sygnałem ciała a stanem umysłu jako sprawy centralne.

Kompetencje informacyjne i medialne

Kompetencje informacyjne i medialne traktują oba jako jeden problem dydaktyczny: kompetencje informacyjne pytają, czy źródło zasługuje na wiarę, a kompetencje medialne pytają, kto stworzył komunikat i dlaczego. Generatywna SI znosi oba pytania, ponieważ płynny tekst ukrywa swoje pochodzenie; strona znajduje niewiele dowodów na połączony program.

Nowe zasoby

W tym tygodniu do biblioteki zasobów dołączyły trzy zasoby.

LearnHarness

LearnHarness to bezpłatna aplikacja desktopowa o otwartym kodzie źródłowym, w której agenci SI ustalają, co uczący się już wie, mapują idee potrzebne do osiągnięcia celu, uczą jednego kroku rozumowania naraz i dostosowują ćwiczenia.

Learning Commons

Learning Commons publikuje otwarte klocki do budowy produktów programowych: mapę standardów i programów, narzędzia do punktowania generowanego tekstu i gotowe przepływy pracy z SI dla nauczycieli.

Public AI Libraries

Public AI Libraries to pilotaż, który umieszcza wspólną stację roboczą SI w amerykańskich bibliotekach publicznych, z czatem, generowaniem obrazów i wideo, środowiskiem programistycznym, przewodnikiem edukacyjnym i prywatnym kontem dla każdego czytelnika.

Dla prowadzących zajęcia

Informacja zwrotna od SI dorównuje nauczycielowi przy poprawkach, ale motywacja pozostaje w tyle

SI i informacja zwrotna od nauczyciela poprawiły te same eseje o mniej więcej tyle samo w zrandomizowanym badaniu z 312 piszącymi. Informacja zwrotna od nauczyciela zrobiła więcej dla motywacji, ponieważ student czuł więź z osobą, która jej udzielała.

Zachowajcie ludzki głos wokół informacji zwrotnej. Połączcie wygenerowany komentarz z krótką odpowiedzią prowadzącego albo użyjcie SI do pierwszej rundy, a nauczyciela do rozmowy o pracy.

Zobacz też: Informacja zwrotna od SI na skalę

Jedna na pięć esejów została napisana w całości przez chatbota

Badanie 77 studentów piszących na studiach rejestrowało każdą podpowiedź, odpowiedź i wklejenie. Piętnaście osób, czyli jedna na pięć, oddało eseje napisane przez chatbota, a większość nadal uważała, że esej jest ich.

Proście o pracę pośrednią: podpowiedzi, poprawki i krótką notkę o tym, co się zmieniło i dlaczego. Uczyńcie przekazanie pracy widocznym, dopóki jest jeszcze czas, by czegoś nauczyć.

Zobacz też: Przeprojektowanie oceniania na erę SI

Uczniowie szkół średnich korzystają z SI niemal powszechnie, a słabsi robią to częściej

Całoroczne badanie 4062 niemieckich uczniów szkół średnich wykazało niemal powszechne korzystanie z SI: 95% jej używało, a słabsi uczniowie używali jej częściej, by kończyć zadania. Ten wzorzec przewidywał mniejszy wysiłek później.

To czyni ramy korzystania z SI i samoregulowane uczenie się częścią programu, do której wraca się przez cały rok. Pytajcie uczniów, do czego służy narzędzie w tym zadaniu, i dajcie słabszym uczniom wspieraną ścieżkę, która zaczyna się od zrozumienia pracy.

Zobacz też: Ograniczanie nadmiernego polegania na SI

Wspierający chatbot dorównał pisaniu dziennika, a rówieśnik zmniejszył samotność

W dwutygodniowym zrandomizowanym badaniu z 296 studentami pierwszego roku wspierający chatbot wypadł tak samo jak pisanie dziennika w zmniejszaniu samotności, a losowo przydzielony rówieśnik ją zmniejszył. Bot okazywał więcej empatii, a studenci dawali mniej w zamian.

Bot może służyć jako użyteczny pierwszy kontakt, dopóki rówieśnik lub doradca pozostaje dostępny. Wbudujcie tę ludzką ścieżkę w każdą usługę wsparcia studentów, którą polecają Państwo, i mierzcie samą samotność.

Zobacz też: SI, lęk i dobrostan

Traktujcie symulację z SI jako nadzorowaną próbę

Przegląd 14 badań wykazał, że studenci pielęgniarstwa cenili powtarzalną, niskostresową symulację z SI i deklarowali większą pewność siebie, zwłaszcza w komunikacji i rozumowaniu klinicznym. Realizm, mowa ciała i opóźnienie odpowiedzi pozostały słabe.

Poinformujcie studentów o ograniczeniach, wymagajcie sprawdzania generowanych treści i omówcie sesję po jej zakończeniu. Zachowajcie interakcję z człowiekiem tam, gdzie komunikacja niewerbalna lub trwała empatia jest celem ćwiczenia.

Zobacz też: Edukacja pielęgniarska

Kod projektów dyplomowych potroił się, a komentarze pozostały na tym samym poziomie

Dziesięć semestrów 260 projektów dyplomowych w edukacji informatycznej pokazuje, że mediana kodu wzrosła z około 3400 linii do 10 000, podczas gdy komentarze pozostały na poziomie bliskim 8%. Liczba commitów wzrosła; pojedyncze commity prawie się nie zmieniły.

Oceniajcie decyzje projektowe, wyjaśnienie kodu i umiejętność studenta zmieniania go. Artefakt może teraz rosnąć szybciej niż uczenie się, które ma pokazywać.

Zobacz też: Przeprojektowanie oceniania na erę SI

Dla twórców oprogramowania

Bez rysunku korepetytor SI powinien odmówić

Sześć modeli SI obsługujących obrazy zmierzyło się z 376 zadaniami matematycznymi ze szkoły średniej, których rysunki niosły kluczowe informacje. Z rysunkiem najlepszy model rozwiązał nieco ponad połowę; bez niego odmawiał niemal za każdym razem.

Traktujcie odmowę jako sygnał brakującego kontekstu. Ocena lub aktualizacja profilu powstała bez rysunku mierzy inne zadanie.

Zobacz też: Edukacja matematyczna

Korepetytor pisania, który zadaje pytania i zostawia pisanie studentom

MAIKE zadaje pytania i diagnozuje argumenty, pozostawiając tekst eseju studentowi. Wśród 65 uczniów szkół średnich poprawa dorównała chatbotowi kontrolnemu, 40% wobec 41%, a użytkownicy MAIKE spędzali więcej tur na pomysłach; nikt nie odpadł.

Mierzcie, czy pomysł omówiony na czacie staje się poprawką. Narzędzie do edukacji pisarskiej, które poprawia tylko końcowy tekst, może ominąć rozumowanie, dla którego zadanie istnieje.

Zobacz też: Nauczanie pisania z SI

Przybliżajcie i podświetlajcie slajd w trakcie narracji

GuideSlide prowadzi narrację talii slajdów i używa wizualizacji, by przybliżyć część, o której mowa. W badaniu z 24 osobami oglądającymi na telefonach obciążenie pracą spadło, rozumienie wzrosło z 5,5 do 6,5 na 9, a 21 z 22 osób wolało to rozwiązanie.

Przewaga dzień później nie była istotna statystycznie, więc badanie wspiera uwagę w trakcie oglądania; trwałe uczenie się pozostaje nieprzetestowane. Wbudujcie wskazówki w samą narrację.

Zobacz też: Projektowanie SI w uczeniu się

Dostrojony detektor może deidentyfikować tekst studenta bez obciążenia nazwiskami

Pięć narzędzi przetestowano na 13 613 plikach z tekstami studentów. Dostrojony GPT-4o-mini znalazł około 96% danych identyfikujących przy mniej więcej jednej szóstej ceny Azure za token; narzędzia Microsoftu częściej pomijały afrykańskie i azjatyckie nazwiska.

Trening na dziesięciu transkryptach zadziałał na nowym zbiorze, więc podejście się przenosi. Zaplanujcie drugie sprawdzenie, gdy precyzja ma znaczenie, i raportujcie grupy, które Państwa narzędzie pomija.

Zobacz też: Instytucjonalna polityka SI

Analiza wideo osiągnęła zgodność na poziomie ludzkim, z człowiekiem w pętli

GAIVA transkrybuje, etykietuje i interpretuje wideo z klasy na potrzeby analityki uczenia się. Na pięciu nagraniach jej etykiety zgadzały się z ludzkimi recenzentami mniej więcej tak blisko, jak dwóch recenzentów między sobą, a narzędzie ujawniło rodzaj uczestnictwa, którego pierwotna teoria nie nazywała.

Traktujcie model jako partnera w kodowaniu, z identyfikowalną podpowiedzią i ludzką decyzją na każdym etapie. Model ujawnia też wzorce, których ludzki recenzent może nie szukać.

Zobacz też: Badania edukacyjne wspomagane SI

Dla badaczy

Duży średni efekt może wciąż oznaczać brak wiarygodnej korzyści

Przegląd czterech badań kontrolowanych z 420 studentami informatyki i inżynierii wykazał dużą średnią poprawę, podczas gdy badania ostro się nie zgadzały, a prawdopodobny przedział obejmował brak korzyści. Dowody oceniono jako bardzo niepewne.

Traktujcie dużą średnią z czterech niepodobnych badań jako hipotezę o własnym kursie. Przeprowadźcie pilotaż spersonalizowanego uczenia się tam, gdzie będzie działać, i mówcie wprost, jak niepewne są dowody.

Zobacz też: Co oznacza spersonalizowane uczenie się

Oceniający SI, który zna dokumentację uczącego się, ocenia tę samą pracę inaczej

Sześć modeli SI oceniło te same 300 krótkich odpowiedzi z prawdziwą i zamienioną notką o wcześniejszych osiągnięciach. Każdy model ocenił identyczną pracę wyżej przy wysokiej etykiecie, o od 0,28 do 0,75 punktu w dziesięciopunktowej skali.

Kontekst studenta działa tu jak obciążenie. Raportujcie efekt kontekstu obok wskaźnika zgodności i testujcie ocenianie bez dokumentacji studenta, zanim nazwą Państwo model rzetelnym.

Zobacz też: Sprawiedliwość i rzetelność oceniania przez SI

Sprawiedliwie wyglądający korepetytor może ukrywać 26-procentową lukę umiejętności

Dwa lata logów od 8549 studentów korzystających z MATHii, adaptacyjnego korepetytora matematycznego, pokazały, że studenci, którzy wciąż uczyli się czytać, opanowali umiejętności w 68,7% wobec 77,6%, podczas gdy ogólna miara sprawiedliwości wyglądała niemal neutralnie. Jedna umiejętność ukrywała 26-procentową lukę w przewidywanym opanowaniu.

Korepetytor nie miał komponentu umiejętności czytania, więc edukacja czytelnicza była brakującym czynnikiem w systemie matematycznym. Modelujcie tę umiejętność i raportujcie luki na poziomie, na którym nauczyciel by interweniował.

Zobacz też: Obciążenie i sprawiedliwość SI w edukacji

Fałszywe trafienia detekcji to problem zarządzania

Przegląd 90 badań wykazał, że detektory SI oznaczają uprawnione teksty w tempie, którego nie da się połączyć, ponieważ narzędzia, progi, zbiory danych i języki się różnią. Streszczenia, przeglądy literatury, odpowiedzi egzaminacyjne, teksty tłumaczone i redagowana proza były stale oznaczane.

Lekarstwo jest proceduralne: przejrzyste korzystanie, ludzki przegląd, kompetencje w zakresie SI, wyraźna polityka instytucjonalna i ścieżka odwoławcza. To należy do zarządzania, a ustawienia detektora są tylko jednym z elementów.

Zobacz też: Czy powinniśmy używać detektorów SI?

Dorównywanie ludzkim oceniającym wciąż może przeoczyć pracę

Dwadzieścia dwa modele SI oceniły po 100 pozycji na zadanie w krótkich odpowiedziach, kodzie i esejach. Większość dorównała ludziom w krótkich odpowiedziach, cztery dorównały im lub je pobiły w kodzie, a żaden nie osiągnął poziomu ludzkiego w esejach.

Wysoki wskaźnik zgodności może współistnieć z oceniającym SI, który ocenia notkę, a pomija odpowiedź. Dodajcie zmienione odpowiedzi do ewaluacji i raportujcie, gdzie model odchodzi od pracy.

Zobacz też: Sprawiedliwość i rzetelność oceniania przez SI

Dla administratorów

Dowody na technologię edukacyjną dla osób neuroróżnorodnych są skoncentrowane i prowadzone przez badaczy

Przegląd 93 badań wykazał, że autyzm dominował w dowodach na technologię edukacyjną dla uczących się neuroróżnorodnych z udziałem 39,8%, przed niepełnosprawnością intelektualną, ADHD i dysleksją. Najczęściej badano rozszerzoną rzeczywistość (VR i AR); wyniki społeczne i rówieśnicze przyciągały mniej uwagi, a dzieci miały niewiele do powiedzenia.

Pytajcie o wynik, na którym zależy klasie, i o uczących się, których objęto ewaluacją. Twierdzenie zwalidowane tylko przez badaczy może oddalić się od ludzi, którym ma służyć.

Zobacz też: SI dla uczących się z niepełnosprawnościami i osób neuroróżnorodnych

Studenci chcieli instytucjonalnego asystenta do informacji zwrotnej

13-miesięczny program współprojektowania z 315 studentami i 20 pracownikami wykazał, że 73% ceniło całodobową informację zwrotną powiązaną z ich nauką. Fiszki i quizy zbierały więcej pozytywnych komentarzy niż otwarty czat, a 16 z 18 testerów wersji beta chciało asystenta.

Osoby, które sprzeciwiły się z powodów wartości — od 10% do 15% — stanowią ryzyko dla adopcji. Traktujcie ich obawy poważnie. Wyjaśnijcie, jak przetwarzane są dane studentów i czego asystent nie potrafi, zanim zacznie się pilotaż, i dajcie studentom możliwość rezygnacji.

Zobacz też: Projektowanie SI w uczeniu się

Nadzór egzaminacyjny łapie oszustwa i przenosi koszt na najmniej uprzywilejowanych

Przegląd 32 badań wykazał, że nadzór egzaminacyjny z SI łapie podszywanie się i oszustwa, podczas gdy fałszywe trafienia, awarie oświetlenia i pasma, lęk oraz szkody dla prywatności spadają najciężej na najmniej uprzywilejowanych. Zautomatyzowany nadzór stanowił 59% badań.

Autorzy przeglądu zalecają ocenianie alternatywne i mieszankę nadzoru ludzkiego i automatycznego. Ograniczcie egzamin online o wysokiej stawce, zanim dodacie kolejny detektor.

Zobacz też: Instytucjonalna polityka SI

Raport na pulpicie podniósł ukończenia, a wyniki testów pozostały bez zmian

Nauczyciele nowi w internetowym korepetytorze matematyki byli losowo zachęcani do otwarcia raportu z pulpitu analityki uczenia się o wynikach studentów z pierwszego zadania. Nie zmieniło to ani odsetka osób zaczynających kolejne zadanie, ani przyrostu wyników testów studentów, choć ukończenie wzrosło w mniejszych klasach.

Sprawdźcie, czy nauczyciele otwierają raport, działają na jego podstawie i widzą przyrost uczenia się, zanim kupią analitykę; sam wzrost ukończeń nie wystarcza.

Zobacz też: Sprawdzanie, czy edukacyjna SI działa

Niemal żadna instytucja nie potrafi wskazać, kto odpowiada za zarządzanie SI

Ankieta wśród 387 studentów i pracowników w 13 krajach wykazała, że tylko 17% wiedziało o wyznaczonej roli związanej z zarządzaniem SI. Z pozostałych 71% uważało, że taka rola jest konieczna, a 76% oczekiwało, że poprawi ich doświadczenie.

Respondenci opisali rolę z mandatem; komitet bez mandatu pozostawia tę rolę nieobsadzoną. Dajcie właścicielowi uprawnienia w zakresie szkoleń, bezpieczeństwa danych, przeglądu etycznego i strategii oraz publikujcie, kto ją pełni.

Zobacz też: Instytucjonalna polityka SI

Dodane w tym tygodniu

Strona dziennika wymienia wszystkie badania dodane w tym tygodniu, w tym te, których tu nie streszczono.

Notatki o stronie

Newsletter i jego kanał RSS są teraz dostępne także po hiszpańsku: odwiedźcie hiszpańską stronę newslettera lub zasubskrybujcie hiszpański kanał RSS newslettera. Aby poprosić o kolejną lokalizację, zgłoście problem lub skontaktujcie się z twórcą strony.

Strona jest znacznie lżejsza. Pełne drzewo pojęć i FAQ nie trafia na każdą stronę: pasek boczny pokazuje dziesięć grup tematycznych i pobiera pełną listę tylko wtedy, gdy czytelnik otworzy jedną z nich, a prawa szyna wymienia osiem ostatnich stron, wcześniej trzydzieści. W całej kompilacji HTML spadł z 1,80 GB do 1,26 GB, a znaczniki paska bocznego z 604 MB do 87 MB.

Tłumaczenia odświeżono we wszystkich 33 skonfigurowanych językach, w tym w wydaniach arabskim, hebrajskim i urdu pisanych od prawej do lewej. Streszczenia artykułów pozostają tylko po angielsku.

Wydania offline przeniosły się do nowej lokalizacji wydań GitHub, więc stare linki do EPUB i PDF przestały działać. Każda strona językowa zachowuje swój zwykły adres. Pliki EPUB i PDF istnieją dla 19 języków z linkami poniżej; pozostałe 14 są tylko w wersji stronowej.

Źródło jest publiczne pod adresem github.com/edtechdev/aied.

Śledź aktualizacje

Każdy numer można otrzymać przez kanał newslettera w czytniku kanałów, wklejając ten sam kanał do Blogtrottr, aby nowe numery przychodziły e-mailem w wybranym przez Państwa harmonogramie, lub śledząc go na LinkedIn, gdzie każdy numer jest publikowany jako newsletter LinkedIn.

Tygodniowy przegląd badań AIEd pochodzi z Bazy wiedzy o sztucznej inteligencji w edukacji, którą generuje agent SI. Ten numer przygotował ten sam agent SI, pod redakcyjnym nadzorem twórcy strony, a każde twierdzenie powyżej linkuje do strony, z której pochodzi.

Baza wiedzy jest przekazana do domeny publicznej na licencji CC0 1.0. Żadne prawa nie są zastrzeżone.

Znalazłeś problem z treścią? Zgłoś go na GitHubie lub skontaktuj się z twórcą strony, Doug Holton.

ŹródłoHistoriaEdytujCzat

Osadź tę stronę

Skopiuj poniższy kod, aby osadzić tę stronę w systemie zarządzania nauczaniem lub na innej witrynie. Wersja osadzona pokazuje tylko treść strony — ukrywa nagłówek witryny, nawigację i stopkę.