Hjälper AI mina studenter att lära sig?

Automatisk maskinöversättning av denna engelska sida, ännu inte granskad av en modersmålstalare.

En student säger att AI-handledaren är anledningen till att hen till slut förstod materialet, och du har inget sätt att kontrollera påståendet. Eller så landar en pilot på ditt skrivbord med en nöjdhetsenkät och en skärmbild av stigande uppgiftsbetyg, och någon vill ha ett beslut om licensen innan månaden är slut. Eller så står du framför en klass och undrar om verktyget du just bad dem öppna hjälper dem att öva eller hjälper dem att undvika övning.

Det korta svaret: ja, AI kan hjälpa studenter att lära sig, och inget av det du mest sannolikt ser fastställer att den gjorde det: bättre uppgiftsresultat, snabbare genomförande, nöjda studenter eller en produkt som kallas handledare. Det som skiljer fallen där lärandet förbättras från fallen där det inte gör det är aktivitetens design och det utfall du valde att mäta.

Kortversionen

1. Namnge förmågan först, bestäm sedan vilken evidens som skulle visa att den förändrades.

2. Mät samma förmåga senare, med verktyget borttaget, för det är det enda måttet som svarar på din fråga.

3. Låt studentens eget försök komma före hjälpen, och kräv en respons på hjälpen efteråt.

4. Betygsätt verifieringen: vad de kontrollerade, vad de förkastade, vad de ändrade.

5. Titta på resultat per förkunskap, för genomsnittet döljer de studenter som designen misslyckas med.

Bestäm vad du menar med lärande innan du tittar på någon evidens

”Är AI bra för lärandet” är inte en fråga. Den buntar ihop minst tre: höjer verktyget prestationen medan det är öppet, bygger det upp förmåga som består när det är stängt, och förändrar det vem som till slut har den förmågan. En leverantörsrapport, en pilotenkät och en randomiserad prövning kan alla vara ärliga och ändå svara på olika frågor.

Skriv ner förmågan innan aktiviteten. ”Producera en polerad rapport” är ett annat utfall än ”välja lämplig evidens”, ”förklara ett kausalt samband” eller ”upptäcka en ogrundad slutsats”. Bedömningen måste synliggöra den förmåga du avser att utveckla, vilket är argumentet i pedagogisk mätning och utgångspunkten för utvärdering av AI i utbildning.

Korpusen stöder två påståenden samtidigt, och att hålla båda är den disciplin den här sidan ber om. En syntes från Världsbanken, Kan edtech sluta lärandeklyftor?, slog samman 14 randomiserade studier över tio ekonomier och skattade en positiv genomsnittlig lärandeeffekt på 0,125 standardavvikelser för adaptiv och AI-möjliggjord utbildningsteknik. Den kombinerade också tidigare adaptiva system med generativ AI-verktyg, fann ingen statistiskt fastställd fördel för de nyare generativa verktygen och medgav betydande osäkerhet i den jämförelsen. Resultatet stöder potentialen i dessa interventioner, inte ett påstående att vilken chattbot som helst förbättrar lärandet. Ett positivt genomsnitt är med andra ord förenligt med en stor variation och med ingen påvisad fördel för det du faktiskt överväger.

De mer användbara studierna är de som varierar designen inom ett enda experiment. En randomiserad studie på flera platser med 1 176 förstaårsstudenter jämförde kamratåterkoppling, direkt AI-återkoppling, självvärdering följd av AI-återkoppling och en hybridsekvens av självvärdering, kamratåterkoppling och AI-kritik. De reflekterande och hybrida betingelserna gav starkare fördröjd transfer utan AI än direkt AI-återkoppling: studenterna presterade bättre på en ny uppgift i vetenskaplig argumentation, inte bara på uppsatsen de reviderade. De betingelserna krävde också mer bedömningsarbete och förmodligen mer tid, så studien stöder den kompletta återkopplingsdesignen snarare än en komponent i den.

Kontrollera om vinsten överlever att verktyget tas bort

Det här är den mest informativa kontrollen du har tillgång till, och den är lätt att lämna utanför en pilot.

Den tydligaste varningen i korpusen är ett randomiserat fältexperiment med nära 1 000 gymnasieelever, Generativ AI utan guardrails kan skada lärandet. Ett gränssnitt av allmän karaktär höjde poängen i övning med stöd med 48 % jämfört med kontroll, och samma elever fick sedan 17 % lägre poäng på prov utan stöd. En handledare konfigurerad med lärardesignad vägledning och tips undvek till stor del den bestraffningen. Den gav ingen statistiskt signifikant förbättring av provresultat utan stöd jämfört med kontrollgruppen. Att undvika skada och att påvisa ytterligare lärande är olika bedrifter.

I nationell skala visar sig samma delning med en fördröjning. Straffet för lärande med generativ AI följde 26 811 kinesiska elever i årskurs 7-12 under 30 månader med staggered adoption. Läxpoängen steg 18 % och slutförandetiden föll 30 %, från 64 till 45 minuter. Poängen på månatliga prov utan böcker föll 20 % inom sex månader, och poängen på avgörande inträdesprov föll 18-24 % av baslinjen, men först efter ungefär två år. Förlusterna koncentrerades till de ungefär 81 % av användarna vars beteende tydde på att läxor lades ut, medan elever som höll läxtiden jämförbar med icke-användare lärde sig ungefär lika effektivt. Två saker följer för din kurs: divergensen mellan läx- och provprestation är glappet mellan prestation och lärande i en nationell kohort, och fördröjningen på två år innebär att en utvärdering över en termin systematiskt underskattar kostnaden.

Datavetenskaplig utbildning visar samma struktur. Den systematiska översikten av 72 studier fann att generativ AI pålitligt höjde kortsiktigt slutförande och minskade tiden på uppgiften i 36 studier, utan en enda studie i korpusen som dokumenterade en negativ effekt på omedelbar prestation, och att dessa vinster ”inte överförs till självständig prestation” i 21 studier. Codex-assisterade studenter slutförde dubbelt så många uppgifter under lärandet och presterade inte bättre än kontrollerna på eftertest utan AI.

Sedan är det frågan om studenterna använder hjälpen över huvud taget. Ett tvåårigt randomiserat skolexperiment i 18 högstadieskolor, Ett klick bort, fann blygsamma prestationsökningar i matematik, och eleverna förde sällan substantiella handledningssamtal. Författarna noterade att ökningarna liknade de vinster som rapporteras för strukturerad övning utan AI, och designen kombinerade individualiserad övning med AI-handledning, så den isolerade inte AI-komponentens bidrag. Att en kapabel handledare är tillgänglig är ett annat faktum än att studenterna använder den produktivt.

Att göra AI-handledning produktiv lägger till en skarpare lärdom från fler än 6 000 högstadieelever som använde NUMI. AI-stöd förbättrade återhämtningen efter misstag och saktade ned framstegen genom frågorna. En behärskningsregel om tre rätt i rad höjde den plattformsdefinierade framgången utan att i sig förbättra lärandet en vecka senare. Den starkaste signalen om fördröjt lärande uppträdde när AI:n bäddades in i behärskningsarbetsflödet, och dessa vinster var marginellt statistiskt signifikanta och koncentrerade till visst övat material. Det är suggestiv evidens för ett strukturerat angreppssätt, inte ett bevisat recept.

Bygg aktiviteten så att studenten gör tänkandet som spelar roll

Undervisningsdesign spelar större roll än vilken modell du kör. Den design som överlever dessa resultat har fyra steg: ett försök, hjälp riktad mot svårigheten, något som studenten gör med hjälpen och en ny tillämpning med stödet borttaget.

1. Be om ett inledande försök, en förutsägelse, ett utkast, en förklaring eller en tolkning.

2. Erbjud riktat stöd: ett tips, en förklaring, ett kontrasterande exempel eller fokuserad återkoppling på punkten där de fastnade.

3. Kräv en respons på stödet. De förklarar det, reviderar med det, verifierar det eller motiverar att de accepterar eller förkastar det.

4. Kontrollera ett jämförbart problem eller en annan kontext med stödet borttaget.

Det är en didaktisk utgångspunkt snarare än en validerad sekvens, och rätt mängd och timing av stöd beror på studenterna och uppgiften. Den speglar det synteserna om stöttning och aktivt lärande betonar: stöd som hjälper de lärande att förstå, öva, utvärdera och till slut prestera med mindre av det.

Tillämpa principen på målet, inte mekaniskt på varje funktion. ”Stötta, ersätt inte” är en bra regel med en fälla i sig. Ett komplett genomräknat exempel kan vara något studenter lär sig av, och en sekvens av tips kan fortfarande bli något de klickar sig igenom utan att tänka. Det som spelar roll är vad den lärande gör med stödet, vilket är varför kognitiv avlastning och hjälpsökande sitter i motsatta ändar av vad samma verktyg kan producera.

Motexemplet är värt att hålla i sikte, för det hindrar dig från att göra ansträngning till en proxy för lärande. I de förregistrerade experimenten som rapporteras i Coacht, inte kryckan producerade vuxna som övade på att revidera personliga brev med AI bättre skrivande utan AI efteråt än de som övade ensamma, och de lade mindre ansträngning på det. Vinsterna bestod vid en uppföljning dagen efter, och ett andra experiment fann att ett AI-reviderat exempel gav jämförbara vinster som att öva med verktyget. Det var korta, avgränsade skrivuppgifter, inte evidens för varaktig förbättring av allt skrivande. De visar att mindre ansträngning inte automatiskt är mindre lärande, och att målet är att bevara lärandeaktiviteten, inte att maximera svårigheten.

Gör det bevarade tänkandet synligt i det du betygsätter

Hur studenterna använder verktyget spelar större roll än om de har det. I en kvalitativ studie av 38 grundstudenter i oövervakade uppsatsbedömningar löpte engagemanget från kognitiv outsourcing till kognitiv omfördelning, förskjutningen av ansträngning från lågnivååtervinning till kritisk värdering. De flesta studenter, 31 av de 38, avsåg att använda generativ AI som en lärassistent. I praktiken förlitade sig 76,32 % på en enfrågasdialog: fråga, få svar, sluta, och 78,94 % använde verktyget före eller efter skrivandet snarare än genom uppgiften. Bara 8 studenter arbetade som kognitiva partner genom varaktig, iterativ dialog. Det spektrat, från outsourcing till omfördelning, är vad student-AI-interaktion beskriver. En deltagare beskrev effekten som ”hur snabbt du glömmer det är också väldigt snabbt”.

Den pedagogiska lärdomen är att generella tillstånd och generella förbud båda lämnar studenterna gissande. Det som förändrade beteendet, enligt den studiens redogörelse, var uppgiftsspecifik vägledning om vilket kognitivt arbete studenterna måste behålla och vilket stöd som var lämpligt, den designriktning som utvecklas i att minska AI-fusk och att minska AI-missbruk.

Så gör det bevarade tänkandet till en artefakt du kan betygsätta. I matematik, be om det försökta svaret innan hjälp begärs, låt sedan studenterna använda en prompt som ”identifiera det första steget jag borde tänka om, ge mig ett användbart tips och be mig försöka igen”, och kräv en ny lösning plus en förklaring snarare än en återgivning av AI:ns svar. I skrivande, låt studenterna bedöma sitt utkast mot bedömningsmatrisen innan de begär kritik och sedan förklara vilka förslag de accepterade, ändrade eller förkastade. Om argumentkonstruktion är målet kan AI-prosa inte stå i stället för evidens att studenten kan bygga ett argument. Om att utvärdera alternativa revisioner är målet är jämförelse av kompletta exempel lämplig. Sidorna om skrivundervisning och återkopplingskompetens bär detaljerna.

Översiktens designkrav är samma drag på kursnivå: verifiering, det vill säga att läsa, testa, ändra, förklara och kritisera AI-output, gjord till en betygsatt och observerbar komponent i stället för en förhoppning som lämnas åt studenternas gottfinnande. Och inte varje legitimt utfall måste demonstreras utan AI. En kurs kan medvetet undervisa i effektivt AI-stött arbete, och bedömer då studentens förmåga att välja, verifiera, revidera och försvara sin användning av verktyget vid sidan av de självständiga grunder disciplinen kräver. Ett test av mänsklig förmåga för lärandemål i AI-eran föreslår den tredelade distinktionen mellan självständig förmåga, AI-förstärkt prestation och verifieringsansvar. Det är ett begreppsligt ramverk, inte ett validerat instrument.

Kontrollera vem verktyget hjälper och vem det tyst tappar

En genomsnittlig förbättring kan dölja studenter som inte vann något eller som stötte på ett nytt hinder. Syntesen om den digitala klyftan skiljer tillgång till ett verktyg från den färdighet som behövs för att använda det och från vem som till slut får ett användbart resultat, och alla tre spelar roll för en kurs.

Förkunskaper modererar allt i datavetenskapsöversikten: väl förberedda studenter omvandlar stöd till varaktig färdighet, medan underförberedda studenter riskerar att använda det som en krycka som tar bort den övning de behöver. Den nationella kohortstudien visar samma koncentration på sitt eget sätt, med lärandeförlusterna hos de 81 % vars läxbeteende tydde på utläggning.

För en klassrumsutvärdering, bryt ut resultaten per förkunskaper, språkbehov och tillgänglighetskrav i stället för att rapportera ett kursmedelvärde. Att lära studenter hur man får och utvärderar användbar återkoppling är en del av AI-kompetens, och den kommer inte med licensen. När du bedömer självständigt lärande, ta bort det stöd som levererar mål tänkandet och behåll de anpassningar som ger tillgång till uppgiften, vilket är den distinktion som både tillgänglighet och rättvisa i AI-utbildning vilar på.

Granska också den återkoppling studenterna faktiskt får. Ett flytande svar kan feldiagnostisera svårigheten, förstärka ett fel eller lämna över ett svar där en annan typ av stöd behövdes. Använd kursanpassat material, behåll en väg till mänsklig hjälp och samla inte in mer studentinformation än aktiviteten kräver. AI-återkopplingens kvalitet, pedagogisk säkerhet och integritet täcker detaljerna.

Lita inte på instrumentpanelen, inte ens din egen

Plattformsmått är den evidens som är lättast att bära in i ett upphandlingsbeslut, och den lättaste att överläsa. I en utvärdering av åtta AI-undervisningsagenter i läkarutbildning skilde sig rangordningen enligt plattformens egen poäng från en expertvaliderad matris för undervisningskvalitet. Agenten som rankades trea av plattformen rankades sist på matriskvalitet, eftersom plattformspoängen följde studenternas prestation under interaktionen snarare än agentens undervisningsbeteende. Ett inbyggt mått är en hypotes att validera.

Samma skepsis gäller den evidens du genererar själv. En nöjdhetsenkät mäter nöjdhet, och upplevt lärande är ett självrapporterat mått som korpusen dokumenterar glider långt från uppmätt lärande. Uppgiftsbetyg mäter uppgiften. Inget av dem säger vad en student kan om tre veckor med verktyget stängt, och att utvärdera AI-interventioner: metoder anger de jämförelsedesigner som för dig närmare.

Vad lärare missförstår om detta

”Högre betyg på uppgiften betyder att de lärde sig mer.” De två kan röra sig i motsatta riktningar. Guardrails-experimentet höjde övning med stöd med 48 % medan prov utan stöd föll 17 %, och den nationella kohorten såg läxpoäng stiga 18 % medan poäng på prov utan böcker föll 20 % inom sex månader. Inget av mönstren skulle synas i ett betygsregister som bara registrerar den slutliga inlämningen.

”Det är en handledare, så det är säkert.” Handledare är en etikett, och resultaten bakom etiketten är blandade. Den lärarkonfigurerade handledaren undvek provbestraffningen och slog inte kontrollen på prov utan stöd. Khanmigo gav blygsamma vinster som liknade strukturerad övning, med litet substantiellt handledningsarbete. NUMI:s AI saktade ned framstegen genom frågorna. En handledare kan hålla inne lösningar och ändå absorbera övningen.

”Om det känns lättare lär det dem ingenting.” Fel i båda riktningarna, vilket är varför ansträngning är en dålig proxy. Coacht, inte kryckan fann mindre ansträngning med bättre skrivande utan AI dagen efter, så lätthet är inte tecknet. Det som skiljer fallen är huruvida studenten gjorde det tänkande som målet namnger, och det är en designfråga snarare än en svårighetsinställning.

”En generell regel, eller en bättre prompt, fixar hur de använder det.” Studien med 38 studenter fann de flesta studenter i enfrågasläge med fråga-och-stopp under exakt de villkor där de hade fått höra att AI var en lärassistent. Det som flyttade beteendet var vägledning specifik för uppgiften och ett betygsatt krav på verifiering. En policyrad och en smart prompt är båda indata till det, och ingen av dem ersätter det.

”Plattformspoängen, eller nöjdhetsenkäten, säger mig att det fungerar.” Utvärderingen av åtta agenter fann en plattformsrangordning som vände under en expertmatris. Nöjdhet och upplevt lärande är självrapporter. Båda är värda att samla in som processinformation, och ingen av dem är ett lärandemått.

”Tillgång är rättviseproblemet, och vi har löst tillgången.” Tillgång är en av tre linjer, vid sidan av färdighet och vem som får ett användbart resultat. Förkunskaper avgör om hjälpen blir färdighet eller en krycka, och förlusterna i den nationella kohorten koncentrerades till gruppen vars beteende tydde på substitution snarare än till gruppen utan enheter.

Vad som kommer att slå tillbaka mot dig

”Mina studenter säger att det hjälper.” Det hjälper förmodligen med arbetet framför dem, och det är fyndet, inte en vederläggning av det. Fråga vad de kan på en liknande uppgift med verktyget stängt, så får du svaret som spelar roll.

”Studierna motsäger varandra, så varför agera på någon av dem?” De motsäger varandra sällan när du linjerar upp det utfall var och en mätte. De positiva resultaten tenderar att mäta prestation med stöd, nöjdhet eller en välstrukturerad aktivitet med fördröjda kontroller; de negativa mäter prestation utan stöd senare. Burneo-syntesen gör osäkerheten explicit: 0,125 standardavvikelser i genomsnitt över 14 prövningar, ingen fastställd fördel för de nyare generativa verktygen. En förbättring före och efter kan inte visa att AI orsakade vinsten, eftersom studenterna förbättras genom resten av undervisningen, och metoder för effektforskning anger de jämförelsedesigner som för dig närmare. Agera på designpåståendena, som replikerar, och var öppen om effektens storlek, som inte gör det.

”Jag har 200 studenter. Jag kan inte köra fördröjda bedömningar.” Du behöver en kort baslinjeuppgift och en fördröjd uppgift, inte en studie. Använd samma uppgiftstyp tre veckor senare utan verktyget, behåll förra årets version av tentamen som en grov jämförelse, och ta stickprov på arbetet som ser inkonsekvent ut mot tidigare inlämningar. Det räcker för att se en vinst på 48 % med stöd vid sidan av en förlust på 17 % utan stöd, om det händer i din kurs.

”Khanmigo fick ett positivt resultat, så handledning fungerar.” Den fick blygsamma matematikvinster i 18 högstadieskolor, i en design som buntade ihop individualiserad övning med AI-handledning, medan eleverna sällan förde substantiella handledningssamtal. Läs det som evidens för att en välstrukturerad övningsmiljö kan ge små vinster, inte som evidens för att AI-komponenten orsakade dem.

”Jag kan inte förbjuda det och jag kan inte övervaka det.” Korrekt på båda punkterna, och inget av dem krävs. Designfrågan är vad din aktivitet gör lätt. Om verifiering betygsätts, redovisning inte kostar något och kontrollen utan stöd finns, tar de flesta studenter den väg du byggde.

”Jag undervisar inte i AI. Det är inte mitt ämne.” Interferensen sker inuti ditt ämne, i steget där AI utför den övning som din kurs finns för att ge. Det är därför åtgärden är en ändrad uppgift snarare än en ny kursdel.

Vad du ska göra den här veckan

1. Ta en aktivitet du redan kör och skriv förmågemeningen: vad en student ska kunna efteråt, med verktyget stängt.

2. Lägg till en tvåminutersbaslinje i början och samma sorts uppgift tre veckor senare. Poängsätt båda utan AI i rummet.

3. Ändra en prompt du ger studenterna från ”förklara det här” till ”ge mig ett tips och ställ sedan en fråga till mig”, och kräv ett reviderat försök innan de går vidare.

4. Lägg till en betygsatt verifieringsartefakt: en kort anteckning om vad de kontrollerade, vad de förkastade och vad de ändrade.

5. Bryt ut resultatet per förkunskaper för de studenter du redan vet kämpar, och läs den AI-återkoppling ett urval av dem fick.

Vart du går härnäst

Att utvärdera AI-interventioner: metoder täcker måtten och jämförelsedesignerna bakom kontrollerna ovan, och utvärdering av AI i utbildning är den praktiska utvärderingsguiden. Hur AI påverkar studenter tar studentupplevelsesidan, tio viktiga fynd om AI i utbildning för lärare komprimerar samma evidens till lärarbeslut, och begränsningar i AIEd-forskning är den ärliga redogörelsen för vad den här litteraturen ännu inte kan säga dig. Om din fråga har blivit en bedömningsfråga är att minska AI-fusk nästa sida.