Czy korzystanie z SI rzeczywiście pomaga moim studentom się uczyć?

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

Student mówi, że tutor z SI jest powodem, dla którego w końcu zrozumiał materiał, a nie ma sposobu, by to sprawdzić. Albo na biurko trafia pilotaż z ankietą satysfakcji i zrzutem ekranu rosnących ocen z zadań, a ktoś chce decyzji o licencji do końca miesiąca. Albo stoi się przed grupą i zastanawia, czy narzędzie, które właśnie kazano otworzyć, pomaga ćwiczyć, czy pomaga unikać ćwiczenia.

Krótka odpowiedź: tak, SI może pomagać studentom się uczyć, a żadna z rzeczy, które najprawdopodobniej zobaczysz, nie ustala, że tak się stało: lepsze zadania, szybsze ukończenie, zadowoleni studenci ani produkt nazwany tutorem. To, co oddziela przypadki, w których uczenie się poprawia, od przypadków, w których nie, to projekt aktywności i wybrany wynik pomiaru.

W skrócie

1. Najpierw nazwij zdolność, potem zdecyduj, jakie dowody pokazałyby, że się zmieniła.

2. Zmierz tę samą zdolność później, po odebraniu narzędzia, bo tylko ta miara odpowiada na to pytanie.

3. Postaw własną próbę studenta przed pomocą i wymagaj reakcji na pomoc po niej.

4. Oceniaj weryfikację: co sprawdzono, co odrzucono, co zmieniono.

5. Patrz na wyniki według wcześniejszej wiedzy, bo średnia ukrywa studentów, których projekt zawodzi.

Ustalenie, co oznacza uczenie się, zanim spojrzy się na dowody

„Czy SI pomaga studentom się uczyć” to nie jedno pytanie. Skupia co najmniej trzy: czy narzędzie podnosi wyniki, gdy jest otwarte, czy buduje zdolność, która się utrzymuje, gdy jest zamknięte, i czy zmienia to, kto tę zdolność ostatecznie ma. Raport dostawcy, ankieta pilotażowa i badanie randomizowane mogą wszystkie być rzetelne i nadal odpowiadać na różne pytania.

Zapisz zdolność przed aktywnością. „Przygotować dopracowany raport” to inny wynik niż „wybrać odpowiednie dowody”, „wyjaśnić związek przyczynowy” czy „wykryć niepoparty wniosek”. Ocenianie musi ujawniać zdolność, którą zamierzamy rozwijać, co jest argumentem pomiaru edukacyjnego i punktem wyjścia ewaluacji SI w edukacji.

Baza wiedzy wspiera dwa twierdzenia jednocześnie i utrzymywanie obu naraz jest dyscypliną, o którą ta strona prosi. Synteza Banku Światowego, Can EdTech Close Learning Gaps?, połączyła 14 badań randomizowanych z dziesięciu gospodarek i oszacowała dodatni średni efekt uczenia się na poziomie 0,125 odchylenia standardowego dla technologii edukacyjnej adaptacyjnej i opartej na SI. Połączyła też wcześniejsze systemy adaptacyjne z narzędziami generatywnej SI, nie znalazła statystycznie ustalonej przewagi nowszych narzędzi generatywnych i przyznała, że w tym porównaniu jest znaczna niepewność. Wynik wspiera potencjał tych interwencji, a nie twierdzenie, że dowolny chatbot poprawi uczenie się. Dodatnia średnia, innymi słowy, jest zgodna z dużą zmiennością i z brakiem wykazanej przewagi tego, co właśnie jest rozważane.

Bardziej użyteczne są badania, które zmieniają projekt w obrębie jednego eksperymentu. Wieloośrodkowe badanie randomizowane z 1 176 studentami pierwszego roku studiów licencjackich porównało informację zwrotną rówieśniczą, bezpośrednią informację zwrotną od SI, samoocenę po której następuje informacja zwrotna od SI, oraz hybrydową sekwencję samooceny, informacji zwrotnej rówieśniczej i krytyki SI. Warunki refleksyjny i hybrydowy dały silniejszy odroczony transfer bez SI niż bezpośrednia informacja zwrotna od SI: studenci wypadli lepiej w nowym zadaniu argumentacji naukowej, a nie tylko w eseju, który poprawiali. Warunki te wymagały też więcej pracy oceniającej i prawdopodobnie więcej czasu, więc badanie wspiera cały projekt informacji zwrotnej, a nie jeden jego komponent.

Sprawdzenie, czy przyrost przetrwa odebranie narzędzia

To najbardziej informacyjne sprawdzenie, jakie jest dostępne, i łatwo je pominąć w pilotażu.

Najwyraźniejsze ostrzeżenie w bazie wiedzy to randomizowany eksperyment terenowy z prawie 1 000 uczniów szkół średnich, Generative AI without guardrails can harm learning. Interfejs w stylu ogólnego przeznaczenia podniósł wyniki ćwiczeń z pomocą o 48% względem grupy kontrolnej, a ci sami uczniowie uzyskali następnie o 17% niższe wyniki na egzaminach bez pomocy. Tutor skonfigurowany ze wskazówkami i podpowiedziami zaprojektowanymi przez nauczyciela w dużej mierze uniknął tej kary. Nie dał jednak statystycznie istotnej poprawy wyników egzaminu bez pomocy względem grupy kontrolnej. Unikanie szkody i wykazanie dodatkowego uczenia się to dwa różne osiągnięcia.

W skali krajowej ten sam rozłam pojawia się z opóźnieniem. The Generative AI Learning Penalty śledziło 26 811 uczniów szkół średnich z klas 7-12 przez 30 miesięcy, wykorzystując stopniowe wprowadzanie narzędzia. Oceny za zadania domowe wzrosły o 18%, a czas ich wykonania spadł o 30%, z 64 do 45 minut. Oceny z comiesięcznych egzaminów bez dostępu do materiałów spadły o 20% w ciągu sześciu miesięcy, a wyniki egzaminów wstępnych o wysokiej stawce spadły o 18-24% wartości wyjściowej, ale dopiero po około dwóch latach. Straty skupiły się wśród około 81% użytkowników, których zachowanie wskazywało na outsourcowanie zadań domowych, podczas gdy uczniowie, którzy utrzymali czas pracy domowej porównywalny z nieużytkownikami, uczyli się równie efektywnie. Z tego wynikają dwie rzeczy dla kursu: rozbieżność między wynikami zadań domowych i egzaminów to luka między wykonaniem a uczeniem się w kohorcie krajowej, a dwuletnie opóźnienie oznacza, że ewaluacja obejmująca jeden semestr będzie systematycznie zaniżać koszt.

Edukacja informatyczna pokazuje tę samą strukturę. Przegląd systematyczny 72 badań stwierdził, że generatywna SI rzetelnie podnosiła krótkoterminowe ukończenie i skracała czas zadania w 36 badaniach, przy czym ani jedno badanie w bazie nie dokumentowało negatywnego wpływu na natychmiastowe wyniki, a przyrosty te „nie przenoszą się na samodzielne wykonanie” w 21 badaniach. Studenci wspierani przez Codex wykonali dwa razy więcej zadań w trakcie uczenia się i nie wypadli lepiej niż grupa kontrolna w testach końcowych bez SI.

Zostaje jeszcze pytanie, czy studenci w ogóle korzystają z pomocy. Dwuletni randomizowany eksperyment szkolny w 18 gimnazjach, One Click Away, wykazał skromne przyrosty osiągnięć z matematyki, a uczniowie rzadko prowadzili merytoryczne rozmowy tutoringowe. Autorzy zauważyli, że przyrosty przypominały te raportowane dla ustrukturyzowanego ćwiczenia bez SI, a projekt łączył ćwiczenie zindywidualizowane z tutoringiem z SI, więc nie wyizolował wkładu komponentu SI. Dostępność zdolnego tutora to inny fakt niż produktywne korzystanie z niego przez uczniów.

Making AI Tutoring Productive dodaje ostrzejszą lekcję od ponad 6 000 uczniów gimnazjów korzystających z NUMI. Wsparcie SI poprawiało odbudowę po błędach i spowalniało przechodzenie przez pytania. Reguła opanowania wymagająca trzech poprawnych odpowiedzi z rzędu podniosła sukces definiowany przez platformę, nie poprawiając sama z siebie uczenia się po tygodniu. Najsilniejszy sygnał odroczonego uczenia się pojawił się wtedy, gdy SI była osadzona w procesie opanowania, a przyrosty te były na granicy istotności statystycznej i skupione na określonym materiale objętym ćwiczeniem. To sugestywny dowód na ustrukturyzowane podejście, a nie sprawdzony przepis.

Takie zbudowanie zajęcia, by student wykonał istotną pracę myślową

Projektowanie dydaktyczne ma większe znaczenie niż to, który model uruchamiamy. Projekt, który przetrwa te wyniki, ma cztery zwroty: próbę, pomoc wymierzoną w trudność, coś, co student robi z pomocą, i nowe zastosowanie przy wycofanym wsparciu.

1. Poproś o wstępną próbę, przewidywanie, szkic, wyjaśnienie lub interpretację.

2. Zaproponuj ukierunkowaną pomoc: podpowiedź, wyjaśnienie, kontrastujący przykład lub skupioną informację zwrotną o miejscu, w którym utknęli.

3. Wymagaj reakcji na pomoc. Student ją wyjaśnia, poprawia z jej użyciem, weryfikuje albo uzasadnia jej przyjęcie lub odrzucenie.

4. Sprawdź porównywalne zadanie lub inny kontekst przy wycofanym wsparciu.

To punkt wyjścia dla nauczania, a nie zwalidowana sekwencja, a właściwa ilość i moment wsparcia zależą od studentów i zadania. Odzwierciedla to, co podkreślają syntezy rusztowania i aktywnego uczenia się: wsparcie, które pomaga uczącym się zrozumieć, ćwiczyć, oceniać i w końcu działać przy mniejszej jego ilości.

Stosuj tę zasadę do celu, a nie mechanicznie do każdej funkcji. „Rusztuj, nie zastępuj” to dobra reguła z pułapką w środku. Kompletny rozwiązany przykład może być czymś, z czego studenci się uczą, a sekwencja podpowiedzi może wciąż stać się czymś, przez co się klika bez myślenia. Liczy się to, co uczący się robi z pomocą, dlatego odciążanie poznawcze i szukanie pomocy leżą na przeciwnych końcach tego, co to samo narzędzie może wywołać.

Kontrprzykład warto mieć w polu widzenia, bo powstrzymuje przed zamianą wysiłku w zastępczą miarę uczenia się. W prerejestrowanych eksperymentach opisanych w Coach not crutch dorośli, którzy ćwiczyli redagowanie listów motywacyjnych z SI, pisali potem lepsze teksty bez SI niż ci, którzy ćwiczyli sami, i wkładali w to mniej wysiłku. Korzyści utrzymały się w kontroli po jednym dniu, a drugi eksperyment wykazał, że oglądanie przykładu poprawionego przez SI dawało korzyści porównywalne z ćwiczeniem z narzędziem. Były to krótkie, ograniczone zadania pisemne, a nie dowód trwałej poprawy w całym pisaniu. Pokazują jednak, że mniejszy wysiłek nie jest automatycznie mniejszym uczeniem się i że celem jest zachowanie aktywności uczenia się, a nie maksymalizowanie trudności.

Uwidocznienie zachowanej pracy myślowej w tym, co się ocenia

To, jak studenci korzystają z narzędzia, ma większe znaczenie niż to, czy je mają. W badaniu jakościowym 38 studentów studiów licencjackich w nienadzorowanych ocenach esejów zaangażowanie rozciągało się od outsourcingu poznawczego do realokacji poznawczej, czyli przesunięcia wysiłku z wydobywania informacji niskiego poziomu na ocenę krytyczną. Większość studentów, 31 z 38, zamierzała używać generatywnej SI jako asystenta uczenia się. W praktyce 76,32% polegało na jednosturym schemacie: zapytaj, odbierz odpowiedź, zakończ dialog, a 78,94% używało narzędzia przed pisaniem szkicu lub po nim, a nie w trakcie zadania. Tylko 8 studentów pracowało jako partnerzy poznawczy w trwałym, iteracyjnym dialogu. To spektrum, od outsourcingu do realokacji, opisuje interakcja studenta z SI. Jeden z uczestników opisał ten efekt słowami: „szybkość, z jaką się to zapomina, też jest bardzo duża”.

Lekcja pedagogiczna jest taka, że ogólne pozwolenia i ogólne zakazy zostawiają studentów w domysłach. W ujęciu tego badania zachowanie zmieniło ukierunkowane na zadanie wskazanie, którą pracę poznawczą studenci muszą zachować, a jaka pomoc jest właściwa, czyli kierunek projektowy rozwijany w ograniczaniu oszukiwania z SI i ograniczaniu nadużywania SI.

Dlatego uczyń zachowaną pracę myślową artefaktem, który można ocenić. W matematyce poproś o próbę rozwiązania, zanim poprosi się o pomoc, a potem pozwól studentom użyć polecenia typu „wskaż pierwszy krok, który powinienem przemyśleć, daj mi jedną użyteczną podpowiedź i poproś, żebym spróbował ponownie”, i wymagaj nowego rozwiązania wraz z wyjaśnieniem, a nie odtworzenia odpowiedzi SI. W pisaniu poproś studentów o ocenę szkicu według rubryki przed poproszeniem o krytykę, a następnie o wyjaśnienie, które sugestie przyjęli, zmodyfikowali lub odrzucili. Jeśli celem jest konstruowanie argumentu, proza SI nie może zastąpić dowodu, że student potrafi zbudować argument. Jeśli celem jest ocena alternatywnych poprawek, porównywanie kompletnych przykładów jest właściwe. Szczegóły zawierają strony edukacja pisania i kompetencje w zakresie informacji zwrotnej.

Wymóg projektowy tego przeglądu to ten sam ruch na poziomie kursu: weryfikacja, czyli czytanie, testowanie, modyfikowanie, wyjaśnianie i krytykowanie wyników SI, uczyniona ocenianym i obserwowalnym komponentem, a nie aspiracją pozostawioną uznaniu studenta. I nie każdy uzasadniony wynik musi być wykazany bez SI. Kurs może celowo uczyć skutecznej pracy wspieranej przez SI, a wtedy ocenia się zdolność studenta do wyboru, weryfikacji, poprawiania i obrony użycia narzędzia obok samodzielnych podstaw wymaganych przez dziedzinę. A Human Capability Test for Learning Outcomes in the AI Era proponuje ten trójdzielny podział na zdolność samodzielną, wykonanie wspierane przez SI i odpowiedzialność za weryfikację. To rama pojęciowa, a nie zwalidowane narzędzie.

Sprawdzenie, komu narzędzie pomaga, a kogo po cichu zostawia

Średnia poprawa może ukryć studentów, którzy nic nie zyskali lub trafili na nową barierę. Synteza przepaści cyfrowej oddziela dostęp do narzędzia od umiejętności potrzebnej do jego użycia i od tego, kto ostatecznie uzyskuje użyteczny wynik, a wszystkie trzy rzeczy mają znaczenie dla kursu.

Wcześniejsza wiedza moderuje wszystko w tym przeglądzie informatycznym: dobrze przygotowani studenci zamieniają pomoc w trwałą umiejętność, a słabiej przygotowani ryzykują użycie jej jako protezy, która odbiera ćwiczenie, którego potrzebują. Badanie kohorty krajowej pokazuje tę samą koncentrację na swój sposób, ze stratami w uczeniu się wśród 81%, których zachowanie przy zadaniach domowych wskazywało na outsourcing.

W ewaluacji klasowej rozbij wyniki według wcześniejszej wiedzy, potrzeb językowych i wymagań dostępności, zamiast raportować średnią kursu. Nauczanie studentów, jak uzyskać i ocenić użyteczną informację zwrotną, jest częścią kompetencji w zakresie SI i nie przychodzi razem z licencją. Oceniając samodzielne uczenie się, usuń pomoc, która dostarcza docelowe myślenie, i zostaw udogodnienia zapewniające dostęp do zadania, co jest rozróżnieniem, na którym opierają się zarówno dostępność, jak i równość w edukacji z SI.

Sprawdź też informację zwrotną, którą studenci faktycznie otrzymują. Płynna odpowiedź może błędnie rozpoznać trudność, utrwalić błąd lub podać odpowiedź tam, gdzie potrzebne było inne wsparcie. Używaj materiałów zgodnych z kursem, utrzymuj drogę do ludzkiej pomocy i zbieraj nie więcej informacji o studentach, niż wymaga aktywność. Konkretne rozwiązania opisują strony jakość informacji zwrotnej od SI, bezpieczeństwo pedagogiczne i prywatność.

Nie ufać pulpitowi, także własnemu

Wskaźniki platformy są najłatwiejszym dowodem do przeniesienia w decyzję zakupową i najłatwiejszym do nadinterpretacji. W ewaluacji ośmiu agentów nauczających z SI w edukacji medycznej rankingi według własnego wyniku platformy rozeszły się z rubryką jakości nauczania zwalidowaną przez ekspertów. Agent sklasyfikowany przez platformę na trzecim miejscu znalazł się na ostatnim pod względem jakości według rubryki, ponieważ wynik platformy śledził wyniki studentów w trakcie interakcji, a nie zachowanie dydaktyczne agenta. Wbudowany wskaźnik to hipoteza do zwalidowania.

Ten sam sceptycyzm dotyczy dowodów, które generuje się samemu. Ankieta satysfakcji mierzy satysfakcję, a postrzegane uczenie się to miara samoopisowa, która według dokumentacji w bazie wiedzy odbiega daleko od mierzonego uczenia się. Oceny z zadań mierzą zadanie. Żadna z tych rzeczy nie mówi, co student potrafi zrobić za trzy tygodnie przy zamkniętym narzędziu, a metody ewaluacji interwencji z SI przedstawiają projekty porównań, które przybliżają do odpowiedzi.

Co nauczyciele akademiccy rozumieją tu błędnie

„Wyższe oceny z zadania oznaczają, że nauczyli się więcej.” Te dwie rzeczy mogą się poruszać w przeciwnych kierunkach. Eksperyment z barierami ochronnymi podniósł ćwiczenie z pomocą o 48%, a egzaminy bez pomocy spadły o 17%, a w kohorcie krajowej oceny za zadania domowe wzrosły o 18%, podczas gdy oceny z egzaminów bez dostępu do materiałów spadły o 20% w ciągu sześciu miesięcy. Żaden z tych wzorców nie pojawiłby się w dzienniku ocen, który rejestruje tylko ostateczne oddanie pracy.

„To tutor, więc jest bezpieczny.” Tutor to etykieta, a wyniki stojące za etykietą są mieszane. Tutor skonfigurowany przez nauczyciela uniknął kary egzaminacyjnej i nie pobił grupy kontrolnej na egzaminach bez pomocy. Khanmigo dał skromne przyrosty przypominające ustrukturyzowane ćwiczenie, przy niewielu merytorycznych rozmowach tutoringowych. SI w NUMI spowalniała przechodzenie przez pytania. Tutor może wstrzymywać rozwiązania i nadal pochłaniać ćwiczenie.

„Jeśli wydaje się łatwiejsze, to niczego ich nie uczy.” Błędne w obu kierunkach, dlatego wysiłek jest złą miarą zastępczą. Coach not crutch wykazał mniejszy wysiłek przy lepszym pisaniu bez SI dzień później, więc łatwość nie jest oznaką. To, co oddziela przypadki, to czy student wykonał pracę myślową nazwaną w celu, a to jest pytanie o projekt, a nie ustawienie trudności.

„Ogólna zasada albo lepszy prompt naprawia sposób korzystania.” W badaniu z 38 studentami większość znalazła się w trybie jednosturym „zapytaj i przestań” dokładnie w warunkach, w których powiedziano im, że SI jest asystentem uczenia się. Zachowanie zmieniło ukierunkowane na zadanie wskazanie i oceniany wymóg weryfikacji. Linia polityki i sprytny prompt są oba danymi wejściowymi do tego, a żaden tego nie zastępuje.

„Wynik platformy albo ankieta satysfakcji mówi mi, że to działa.” Ewaluacja ośmiu agentów wykazała ranking platformy, który odwrócił się przy rubryce eksperckiej. Satysfakcja i postrzegane uczenie się to samoopisy. Oba warto zbierać jako informację o procesie i żaden nie jest miarą uczenia się.

„Dostęp to problem równości i rozwiązaliśmy dostęp.” Dostęp to jedna z trzech linii, obok umiejętności i tego, kto uzyskuje użyteczny wynik. Wcześniejsza wiedza decyduje, czy pomoc staje się umiejętnością, czy protezą, a straty w kohorcie krajowej skupiły się w grupie, której zachowanie sugerowało zastępowanie, a nie w grupie bez urządzeń.

Co się na Tobie odbije

„Moi studenci mówią, że to pomaga.” Prawdopodobnie pomaga w pracy, która jest przed nimi, i to jest ustalenie, a nie jego obalenie. Zapytaj, co potrafią zrobić w podobnym zadaniu przy zamkniętym narzędziu, a otrzymasz odpowiedź, która ma znaczenie.

„Badania są sprzeczne, więc po co działać na podstawie którychkolwiek?” Rzadko są sprzeczne, gdy zestawi się wynik, który każde z nich mierzyło. Wyniki dodatnie zwykle mierzą wykonanie z pomocą, satysfakcję albo dobrze ustrukturyzowaną aktywność z odroczonym sprawdzeniem; wyniki ujemne mierzą późniejsze wykonanie bez pomocy. Synteza Burneo czyni niepewność wyraźną: 0,125 odchylenia standardowego średnio w 14 badaniach, bez ustalonej przewagi nowszych narzędzi generatywnych. Poprawa przed i po nie może pokazać, że przyrost wywołała SI, ponieważ studenci poprawiają się przez resztę nauczania, a metody badań nad skutecznością przedstawiają projekty porównań, które przybliżają do odpowiedzi. Działaj na podstawie twierdzeń o projekcie, które się replikują, i zachowaj otwartość co do wielkości efektu, która się nie replikuje.

„Mam 200 studentów. Nie mogę prowadzić odroczonych ocen.” Potrzebne jest jedno krótkie zadanie wyjściowe i jedna odroczona pozycja, a nie badanie. Użyj tego samego typu zadania trzy tygodnie później bez narzędzia, zachowaj zeszłoroczną wersję egzaminu jako zgrubne porównanie i przejrzyj próbkę prac, które wyglądają niespójnie z wcześniejszymi oddaniami. To wystarczy, by zobaczyć 48% przyrostu z pomocą obok 17% straty bez pomocy, jeśli dzieje się to w danym kursie.

„Khanmigo dał wynik dodatni, więc tutoring działa.” Dał skromne przyrosty z matematyki w 18 gimnazjach, w projekcie, który łączył ćwiczenie zindywidualizowane z tutoringiem z SI, a uczniowie rzadko prowadzili merytoryczne rozmowy tutoringowe. Czytaj to jako dowód, że dobrze ustrukturyzowane środowisko ćwiczenia może dawać małe przyrosty, a nie jako dowód, że wywołał je komponent SI.

„Nie mogę tego zakazać i nie mogę tego kontrolować.” W obu punktach racja, i żadne z nich nie jest konieczne. Pytanie o projekt brzmi, co dana aktywność czyni łatwym. Jeśli weryfikacja jest oceniana, ujawnienie użycia nic nie kosztuje, a sprawdzenie bez pomocy istnieje, większość studentów idzie drogą, którą zbudowano.

„Nie uczę o SI. To nie mój przedmiot.” Zakłócenie dzieje się wewnątrz własnego przedmiotu, na tym etapie, na którym SI wykonuje ćwiczenie, które ten kurs ma zapewnić. Dlatego rozwiązaniem jest zmiana zadania, a nie nowy dział.

Co zrobić w tym tygodniu

1. Weź jedną aktywność, którą już prowadzisz, i zapisz zdanie o zdolności: co student powinien potrafić po niej, przy zamkniętym narzędziu.

2. Dodaj dwuminutowy pomiar wyjściowy na początku i taką samą pozycję trzy tygodnie później. Oba oceń bez SI w sali.

3. Zmień jedno polecenie dawane studentom z „wyjaśnij to” na „daj mi jedną podpowiedź, a potem zadaj mi pytanie” i wymagaj poprawionej próby, zanim przejdą dalej.

4. Dodaj jeden oceniany artefakt weryfikacji: krótką notatkę o tym, co sprawdzono, co odrzucono i co zmieniono.

5. Rozbij wynik według wcześniejszej wiedzy dla studentów, o których już wiadomo, że mają trudności, i przeczytaj informację zwrotną od SI, którą otrzymała ich próbka.

Dokąd dalej

Ewaluacja interwencji z SI omawia miary i projekty porównań stojące za tymi sprawdzeniami, a Ewaluacja SI w edukacji to praktyczny przewodnik po ewaluacji. Jak SI wpływa na studentów ujmuje stronę doświadczenia studenta, 10 najważniejszych ustaleń o edukacji z SI dla nauczycieli akademickich sprowadza te same dowody do decyzji dydaktycznych, a Ograniczenia w badaniach nad SI w edukacji to rzetelny opis tego, czego ta literatura jeszcze nie potrafi powiedzieć. Jeśli pytanie stało się pytaniem o ocenianie, następną stroną jest ograniczanie oszukiwania z SI.