Jak sprawić, by symulowany student zachowywał się jak prawdziwy uczący się?

Tłumaczenie automatyczne tej strony z języka angielskiego, jeszcze nie sprawdzone przez rodzimego użytkownika języka.

W czwartek jest demonstracja. Symulowany student w niej popełnia błąd w zadaniu z ułamkami, dostaje jedną podpowiedź, a potem podaje poprawną odpowiedź z poprawnym wyjaśnieniem. Ktoś w sali pyta, dlaczego uczący się z trudnościami miałby tak zrobić, i nie ma na to odpowiedzi.

Przed następną demonstracją trzeba mieć jasność co do jednego: polecenie modelowi, by zagrał ucznia, wytwarza tylko pozór uczącego się. Zachowanie daje ograniczenie tego, co symulator wie, struktura w kolejnych turach i walidacja na zapisach prawdziwych uczących się. Tylko 3% badań symulujących uczących się waliduje symulator po użyciu, więc nikt tego za nikogo nie sprawdzi.

W skrócie

1. Zapisać, których uczących się ten symulator nie obejmuje, i umieścić to zdanie tam, gdzie użytkownicy je przeczytają.

2. Testować stan przekonań, nie prozę. Pytać, co symulator mówi po korekcie.

3. Ograniczać wiedzę celowo: określić stan epistemiczny albo usunąć wiedzę.

4. Skryptować interakcję tura po turze. Lepsze polecenie persony nie naprawia dryfu.

5. Oceniać wierność behawioralną i responsywność na wskazówki osobno, na zapisach prawdziwych uczących się.

Zdecydować, na jakie pytanie odpowiada symulator

Pod pojęciem „symulowany student” kryją się trzy zadania i wymagają one różnych mechanizmów. Ćwiczenie nauczyciela lub korepetytora wymaga partnera, który zachowuje się wiarygodnie pod presją. Audyt tego, jak SI traktuje różne profile uczących się, wymaga pokrycia profili, na których zależy. Przewidywanie wyników dla kursu wymaga rozkładu uczących się, a nie jednej przekonującej osoby. Symulator zbudowany do pierwszego zadania rozczaruje przy trzecim, a dowody poniżej stale je rozdzielają.

Nazwać uczących się, których się nie obejmuje

Najbardziej użyteczne ustalenie dla każdego, kto ma zaufać symulatorowi, dotyczy pokrycia. Dwunastu nauczycieli, którzy prowadzili korepetycje ze studentami symulowanymi przez LLM, zgłaszało nadmiernie złożony język, brak emocji, nienaturalną uważność i niewyjaśnione skoki wiedzy, a symulacje reprezentowały tylko jeden z czterech rzeczywistych kwadrantów zachowań studentów (Martynova i in., 2026). Kwadrant, który pokryły, był najłatwiejszy do symulowania.

To ma znaczenie, bo prawie nikt nie sprawdza. Tylko 3% badań symulujących uczących się waliduje symulator po użyciu. Ktoś, kto zbuduje taki symulator i pominie walidację, jest w przytłaczającej większości, a jednocześnie jest powodem, dla którego ta statystyka pozostaje cytowalna.

Ograniczyć to, co symulator wie

Zdolny model nie potrafi łatwo udawać kogoś, kto wie tylko częściowo. Badania nazywają to paradoksem kompetencji: modele o szerokich kompetencjach poproszone o naśladowanie częściowo znających się na rzeczy uczących się dają nierealistyczne wzorce błędów i dynamikę uczenia się.

Dryf ma kierunek i wskazuje na uczących się, których symulowanie jest najbardziej potrzebne. Wobec pomysłów uczniów zaczerpniętych z 49 lekcji przyrody zgodnych z NGSS sześć modeli utrzymało większość pomysłów w oczekiwanym zakresie wiedzy i mniej więcej dwie trzecie na poziomie czytania nie wyższym niż docelowy, a potem przestrzeliło dokładnie tam, gdzie uczący się był najmłodszy. Pomysły z poziomu podstawowego i średniego częściej wykraczały poza zakres wiedzy i poziom czytania docelowej klasy, a korpus skłaniał się ku szerszemu rozumowaniu, bardziej technicznemu słownictwu i mniejszej liczbie znaczników niepewności („może”, „wydaje się”) niż prawdziwe pomysły z lekcji (Nguyen i Cao, 2026).

Dwie uwagi z tego badania. Wybór modelu nie jest jednowymiarowy, bo system, który blisko trafia w pomysły z lekcji, nadal może je ustawić powyżej poziomu klasy. A naprawa jest często dydaktyczna: jawne ponowne polecenie z podaniem poziomu klasy przywracało większość modeli w zakres.

Określić stan albo odebrać wiedzę

Jeśli model wie za dużo, można nazwać stan, w którym powinien być, albo odjąć wiedzę, której mieć nie powinien.

Warunkowanie na stanie epistemicznym. Ramy działające bez trenowania budują prototyp poznawczy każdego studenta z grafu wiedzy i oceniają kandydatów z przeszukiwania wiązkowego na jego tle, raportując 100-procentową poprawę dokładności symulacji (Wu i in., 2025). Ich jakość rośnie wraz z poziomem poznawczym studenta, więc słabsi uczący się pozostają przypadkiem trudniejszym, co jest niefortunne, zważywszy że zwykle o nich chodzi. Modelowanie dynamiki poznawczej, a nie statycznej persony, idzie dalej: aktualizacje stanu w CogEvolution oparte na ICAP osiągnęły R²LC = 0,92, tam gdzie statyczne agenty osiągają 0,45, i spadły do 0,58 bez modułu ICAP (Zhang i in., 2026).

Usunięcie wiedzy. Wyciszenie 16 wybranych komponentów wiedzy w Mistral-7B obniżyło dokładność z około 0,75 przy 10-procentowym współczynniku zapominania do poniżej 0,5 przy 40%, podczas gdy model bazowy utrzymywał się blisko 0,85. Wyciszona wiedza okazała się odzyskiwalna przez nadzorowane douczanie i dialog prowadzony przez coacha (Song, Guo i Lin, 2026). To najbliższa rzecz do wyprodukowania nowicjusza wprost, a odzyskiwalność staje się zaletą, jeśli symulator ma uczyć się w trakcie sesji.

Skryptować tury, nie personę

Stabilność persony okazuje się problemem projektowania interakcji, a nie wyboru modelu. Krzyżując pięć modeli LLM z trzema projektami poleceń i czterema personami o różnym nasileniu objawów ADHD, skryptowane interakcje zakotwiczone w zadaniu wyeliminowały obserwowany dryf behawioralny, o nawet 97% w porównaniu z dialogiem bez skryptu. Bez jawnych instrukcji o personie reprezentacja studenta w punkcie wyjścia przechylała się ku wysokim objawom ADHD (Gonnermann-Müller, Haase i Leins, 2026).

Jeśli symulator dryfuje, trzeba najpierw spojrzeć na to, o co się go prosi tura po turze, a dopiero potem zmieniać model albo przepisywać opis studenta.

Oceniać dwie rzeczy, nie jedną

StudentSim wymaga, by dwie właściwości trzymały się razem: wierności behawioralnej, czyli tego, jak dobrze symulator odpowiada zachowaniom samego studenta, oraz responsywności na wskazówki, czyli tego, jak niezawodnie aktualizuje się w stronę, w którą prowadzi wskazówka korepetytora. Jego test porównawczy przekształca publiczne korpusy uczących się (szachy, pisanie po angielsku jako języku obcym, matematyka) w protokół dla pojedynczego studenta, na którym dowolny symulator jest dopasowywany i oceniany na odłożonych zapisach. Śledzenie stanu właściwego dla dziedziny wypadło słabo w responsywności, a odgrywanie ról przez LLM wyłącznie na podstawie polecenia wypadło słabo w wierności (Yang i in., 2026). Symulator może przejść jeden test i oblać drugi, więc trzeba raportować oba.

Jako dowód słuszności koncepcji zamrożony StudentSim użyty jako nagroda w pętli uczenia ze wzmocnieniem dla korepetytora szachowego dał korepetytorów ocenianych przez ekspertów jako trafniejszych, lepiej prowadzących i bardziej spersonalizowanych niż ci trenowani z nagrodą opartą na symulatorze modelu frontier lub bez RL w ogóle. Dobry symulator może być sygnałem treningowym tak samo jak miarą.

Wierność na poziomie działań ma własne ograniczenie. Symulatory studentów odtwarzają obserwowalne działania bez ukrytego rozumowania, które za nimi stoi, a INSIDE dostraja modele do generowania wewnętrznego dialogu przed każdym działaniem, osiągając najwyższą zgodność między generowanym rozumowaniem a rzeczywistymi zmianami w kodzie na poziomie 51,8% przy znanych problemach i 57,9% przy nieznanych, bez utraty wierności działań (Niousha i in., 2026). Jeśli zależy na tym, dlaczego symulowany student coś zrobił, dopasowanie działania nie wystarcza.

Walidować na prawdziwych uczących się i raportować poziom odniesienia

Dwa porównania pokazują, ile kosztuje walidacja.

Testowanie dziewięciu metod symulacji wobec siedmiu metryk opartych na referencjach na 382 odłożonych dialogach z największego publicznego korpusu prawdziwych dialogów studentów z korepetytorem z matematyki wykazało, że samo polecenie ustępowało dostrajaniu w aktach dialogowych (0,4998 wobec 0,6840), ROUGE-L (0,1648 wobec 0,3212) i podobieństwie kosinusowym (0,5460 wobec 0,7390). Najlepsza testowana metoda, optymalizacja preferencji na modelu 8B, pobiła nadzorowane dostrajanie tylko nieznacznie i była gorsza w błędach, a ocena ludzka z trzema korepetytorami odtworzyła ten ranking (Scarlatos i in., 2026). Szczyt tej drabiny leży blisko środka, więc raportowany poziom odniesienia decyduje o tym, jak imponująco wygląda własny wynik.

SWIM to najbardziej przejrzyste porównanie polecenia, dostrajania i uczenia ze wzmocnieniem, bo ocenia każdy wygenerowany esej wobec docelowego profilu cech, a nie wrażeniowo. Polecenie oparte na rubryce dawało ograniczoną kontrolę nawet w przypadku mocnych modeli własnościowych, z najlepszym średnim QWK cechy 0,577 (Claude Sonnet) i 0,422 (GPT-5.4), oraz bliskim zeru w przypadku otwartego modelu 7B. Nadzorowane dostrajanie na prawdziwych parach ocena-esej osiągnęło 0,474 ± 0,023 dla tego modelu 7B. GRPO z nagrodą wyprowadzoną z automatycznego oceniania esejów osiągnęło 0,618 ± 0,005, a zyski utrzymały się u dwóch niezależnych oceniających, na których polityka nigdy nie trenowała (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

Polecenie dawało też populację wyidealizowaną, a nie realistyczną: średni znormalizowany wynik ogólny 0,74 wobec 0,58 u prawdziwych studentów i mediana długości 304 słowa wobec 167. Wytrenowane modele odtworzyły ludzkie rozkłady ocen i długości bez jakiegokolwiek nadzoru nad długością. Jedna rzecz pozostała trudna: autentyczna forma niskich kompetencji. Wytrenowane modele odtworzyły składnię, ale popełniały zbyt mało błędów ortograficznych i gramatycznych, podczas gdy polecenie symulowało słabość przez powierzchowne zepsucie tekstu, rozsypując literówki na skądinąd poprawną prozę.

Realizm powierzchniowy jest słabym testem w obu kierunkach. W badaniu z zaślepieniem eksperci oznaczyli 164 z 196 (83,7%) wygenerowanych przez LLM zgłoszeń w Javie jako napisane przez człowieka, bo błędy były funkcjonalnie nieodróżnialne od autentycznych, a zgodność z prawdziwymi błędami spadała wraz ze wzrostem trudności zadania (Keramati i in., 2026). W siedmiu modelach od 4B do 120B parametrów symulatory przełączały się na poprawną odpowiedź w niemal jednolitym tempie niezależnie od otrzymanej informacji zwrotnej, więc podobieństwo wyników nie mówi nic o stanie przekonań, który za nim stoi. Trenowanie z użyciem wskaźnika selektywnego przełączenia podniosło wierność o nawet +0,56 (Do, Sonkar i Sachan, 2026).

Sprawdzić, czy wystarczy opis

Przed zbudowaniem kohorty warto sprawdzić tańszą opcję. Do oceny doświadczenia z nauki online przed zaangażowaniem studentów, do przewidywania porzucenia i ukończenia oraz do dawania informacji zwrotnej o projekcie, pojedynczy „opisujący” agent webowy, który przechodzi lekcję i tworzy bogaty opis doświadczenia, okazał się lepszy niż bezpośrednie symulowanie populacji studentów.

Symulowani studenci w tym porównaniu pokazali znacznie mniejszy zakres zachowań niż prawdziwi uczący się: w 100 agentach na pięciu lekcjach testowych odtworzyli tylko około 4% ścieżek, którymi szli prawdziwi studenci, kosztując przy tym istotnie więcej obliczeń. Potok „najpierw opisz, potem przewiduj” osiągnął najlepsze przewidywanie rozkładu porzuceń na masowym globalnym kursie CS1, ze średnią JSD 0,060 (Wang, Mitchell i Piech, 2025).

Granica, którą to wyznacza, jest praktyczna. Symulowanie rozkładu studentów może być niepotrzebne albo przeciwskuteczne, gdy celem jest przewidywanie wyników lub krytyka projektu. Symulacja zwraca swój koszt wtedy, gdy liczy się pokrycie rzeczywistego zróżnicowania uczących się, na przykład przy audycie traktowania różnych profili przez SI albo przy dawaniu nauczycielowi materiału do ćwiczenia.

Co budujący rozumieją tu błędnie

Realizm powierzchniowy jest celem. Wskaźnik błędnej klasyfikacji 83,7% dla kodu napisanego przez maszynę i niemal jednolite przełączanie odpowiedzi w siedmiu modelach mówią jedno: człowiek czytający wynik nie widzi właściwości, o której się twierdzi. Trzeba testować reakcję na korektę.

Lepsze polecenie persony naprawia dryf. Skryptowane tury zakotwiczone w zadaniu obniżyły obserwowany dryf o nawet 97% w pięciu modelach i trzech projektach poleceń. Pracę wykonał projekt tur.

Mocniejszy model bazowy zamyka lukę kompetencji. Mocny model własnościowy uzyskał 0,422 na QWK cechy przy poleceniu, podczas gdy dostrojony model 7B osiągnął 0,474, a to samo porównanie sześciu modeli przestrzeliło najmocniej na najniższych poziomach klas. Wybór modelu wymienia jedną oś wierności na inną.

Walidacja znaczy, że kolega przeczytał transkrypt i uznał, że brzmi dobrze. Wynik z Javy pokazuje, jak daleko sięga ten osąd. Walidacja znaczy odłożone zapisy prawdziwych uczących się i poziom odniesienia, który można nazwać.

Symulowanie populacji jest opcją dokładną. W 100 agentach symulacje pokryły około 4% ścieżek, którymi szli prawdziwi studenci, przy istotnie wyższych kosztach obliczeniowych niż agent opisujący.

Co się na Tobie odbije

„Nauczyciele nie odróżnili naszego symulatora od studenta.” W zaślepionym badaniu z Javą eksperci oznaczyli 83,7% zgłoszeń maszynowych jako ludzkie. To mierzy oceniających i pozostawia stan przekonań niezbadanym.

„Dostrajanie jest poza zakresem naszego zespołu.” Wtedy trzeba zawęzić twierdzenie do tego, co wspiera polecenie, i powiedzieć to wprost. Polecenie ustawiło sufit 0,577 dla najsilniejszego testowanego modelu i blisko zera dla otwartego 7B, a dało wyidealizowany rozkład ocen.

„Nie mamy dostępu do danych prawdziwych uczących się.” Protokół StudentSim jest zbudowany z publicznych korpusów uczących się w szachach, pisaniu w języku obcym i matematyce. Dane publiczne ograniczają to, co można twierdzić o własnej populacji, i dają poziom odniesienia, czyli to, czego większość raportów nie podaje.

„GRPO pobiło nadzorowane dostrajanie, więc powinniśmy trenować z RL.” Pobiło, z 0,618 wobec 0,474. Forma niskich kompetencji pozostała trudna w obu przypadkach, zbyt mało błędów ortograficznych i gramatycznych, a w osobnym teście optymalizacja preferencji pobiła dostrajanie tylko nieznacznie i przegrała w błędach. Trzeba sprawdzić, od której właściwości zależy własny przypadek użycia.

„Najsłabsi uczący się to mały wycinek naszych użytkowników.” To najtrudniejszy przypadek dla każdej metody na tej stronie, a ustalenie o pokryciu mówi, że symulacje skupiają się w najłatwiejszym kwadrancie. Jeśli symulator ma służyć do wyciągania wniosków o studentach z trudnościami, ta luka należy do opisu wyników.

Co zrobić w tym tygodniu

1. Napisać zdanie o pokryciu: których uczących się ten symulator nie reprezentuje. Umieścić je w README i w notatkach do demonstracji.

2. Dodać do zestawu testów jedną próbę, która koryguje symulator i sprawdza, czy pozostaje w błędzie.

3. Zastąpić swobodny czat z personą w jednym przepływie turami zakotwiczonymi w zadaniu i porównać dryf.

4. Ocenić jeden istniejący symulator na odłożonych prawdziwych zapisach w zakresie wierności i responsywności i podać te dwie liczby osobno.

5. Przeprowadzić sprawdzenie agenta opisującego na pytaniu, na które naprawdę trzeba odpowiedzieć, zanim sfinansuje się kohortę.

Dokąd dalej

Symulowanie studentów to pełna strona pojęcia. Sprawdzanie, czy edukacyjna SI działa obejmuje ocenianie systemów, które się testuje wobec symulatora, a Czynienie SI lepszą we wspieraniu uczenia się obejmuje metody trenowania stojące za wynikami dostrajania z tej strony. Rozprawianie się z częstymi nieporozumieniami o SI w edukacji podejmuje kwestię, czy symulowani studenci mogą zastąpić prawdziwych uczących się w badaniach.