Welke meetinstrumenten en onderzoeksmethoden kan een docent gebruiken om AI-gerelateerde interventies te evalueren?

Automatische machinale vertaling van deze Engelse pagina, nog niet nagekeken door een moedertaalspreker.

U hebt de pilot in twee groepen gedraaid, een enquête aan het einde van de unit afgenomen, en over drie weken een faculteitsvergadering waar iemand zal vragen of het gewerkt heeft. Of een reviewer heeft gevraagd wat uw vergelijkingsconditie was, en de andere groep deed iets anders. Hoe dan ook: wat zou hier als bewijs gelden?

Stem de methode af op de claim. Een enquête vertelt u of studenten de activiteit leuk vonden. Of ze leerden, vraagt een prestatiemaat, en of de AI de winst veroorzaakte, vraagt een vergelijkingsconditie.

De korte versie

1. Schrijf de claim in één zin, met de uitkomst bij naam genoemd. “Studenten die de tutor gebruikten, scoorden hoger op het examen zonder hulp” is toetsbaar.

2. Voer een nulmeting uit, dan de interventie, dan een directe nameting, en later een meting zonder AI.

3. Beschrijf de vergelijkingsconditie even zorgvuldig als de behandeling, ook wanneer die uw bestaande praktijk is.

4. Meet ondersteunde prestatie en zelfstandig leren apart, en behandel elk gepubliceerd gemiddelde als een hypothese over uw klas.

Kies de methode die uw vraag kan overleven

De pagina Onderzoeksmethoden in AIED zet uiteen wat elke optie oplevert. Gerandomiseerde experimenten geven de sterkste causale inferentie. Quasi-experimentele voor- en nametingen of designs met gematchte groepen passen bij intacte klassen en ondersteunen zwakkere claims. Kwalitatieve interviews, focusgroepen, observaties en artefactanalyse brengen mechanismen en onverwachte ervaringen aan het licht. Mixed methods combineren uitkomstbewijs met een verklaring. Ontwerpgericht onderzoek past bij een docent die een interventie over meerdere iteraties verfijnt.

AI-ondersteunde kwalitatieve analyse hoort op die lijst, met een voorwaarde. Ze reorganiseert een interviewcorpus in enkele minuten, dus verantwoordbaarheid is even belangrijk als accuratesse: leg de gedocumenteerde reorganisaties vast waarmee een lezer het pad van data naar claim kan inspecteren, betwisten en herzien.

Een enquête is een zelfrapportagemaat: juist voor houdingen, verkeerd voor leren.

Geef de vergelijkingsconditie een naam

Drie condities maken een causale claim interpreteerbaar: een precies beschreven behandeling, een goed afgebakende vergelijkingsconditie, en een valide maat voor duurzaam leren. Weidlich et al. (2025) toetsten 19 ChatGPT-in-onderwijs-vergelijkingen aan die criteria. Vier (21%) voldeden aan alle drie. De behandeling was goed gedefinieerd in 74%, de controlegroep in 42%, en de uitkomst kwalificeerde als leren in 53%.

Het faalpatroon is gemakkelijk te reproduceren. Een algemeen hulpmiddel dat wordt geïntroduceerd naast nieuwe activiteiten, nieuwe feedback of een herontworpen interface, verwart het medium met de methode, en het significante resultaat hoort bij het herontwerp.

Meet de uitkomsten die u werkelijk belangrijk vindt

De synthese AI Ed Evaluation beveelt aan: leerwinst zonder hulp, uitgestelde retentie, transfer naar een nieuwe taak, kwaliteit van redeneren, Misconceptions about AI, het opnemen van feedback, en prestatie van subgroepen. Betrokkenheid, tevredenheid, AI-gebruikslogboeken, Self-Efficacy en waargenomen bruikbaarheid zijn redelijke secundaire maten en slechte vervangers voor leren. Werkdruk en tijdwinst gelden als implementatie-uitkomsten, een andere vraag.

Het minimum op klasniveau is een nulmeting, de interventie, een directe nameting en een latere meting zonder hulp. Voeg waar mogelijk een vergelijkingsconditie toe: bestaande praktijk, geen AI, onbeperkte AI tegenover gescaffolde AI, of twee alternatieve ontwerpen. Scoor ondersteunde en niet-ondersteunde prestatie met aparte instrumenten, want één rubric zal ze vermengen.

Lees elk getal als een hypothese

Een gemiddeld effect uit de literatuur is een zwakke gids voor één klaslokaal. O'Neills (2026) audit van 14 invloedrijke meta-analyses vond dat geen enkele een geldige basis voor zijn claims bood. Gepoolde “academic achievement” mengde toetsscores, motivatie, Self-Efficacy en houdingen tot één schatting. De heterogeniteit was extreem: I² liep van 77,2% tot 94,4% in de 13 analyses die deze rapporteerden, en 12 daarvan zaten boven 80%. Alle 14 beoordeelden publicatiebias ongeldig, en 61% van de willekeurig getoetste primaire studies had validiteitsproblemen. Vier analyses rapporteerden variantie tussen studies, twee rapporteerden een voorspellingsinterval, en beide intervallen omvatten nul.

Een handige score kan het verkeerde construct meten. In een evaluatie van acht AI-onderwijsagenten eindigde de agent die derde stond op de eigen score van het platform als laatste op een door experts gevalideerde rubric, omdat platformscores de prestaties van studenten tijdens de interactie indexeerden. Behandel een dashboardcijfer als een hypothese.

Wat docenten verkeerd doen

Een tevredenheidsenquête meet het leren. Ze meet tevredenheid, die de synthese AI Ed Evaluation als secundaire maat naast leeruitkomsten noemt.

Een winst voor en na de interventie toont aan dat de interventie werkte. Ze toont aan dat scores stegen. Of de maat als leren telde, is een aparte vraag, en de audit vond een kwalificerende leeruitkomst in 53% van de vergeleken gevallen.

Gepubliceerde effectgroottes zijn overdraagbaar naar mijn klas. O'Neills 14 meta-analyses konden de claims die erop waren gebouwd niet ondersteunen, en beide gerapporteerde voorspellingsintervallen omvatten nul.

Platformanalyses meten de onderwijskwaliteit. Zhangs als derde gerangschikte agent stond laatste op een expert-rubric.

Wat er op u afkomt

“We hebben al eindevaluaties van de cursus.” Die meten de cursus, en ze komen pas nadat het semester voorbij is waarin u het antwoord nodig had.

“Een vergelijkingsgroep is onmogelijk in een intacte cursus.” Vergelijk met de versie van dezelfde opdracht van vorig jaar, of met een tweede groep, en beschrijf het verschil eerlijk. Quasi-experimentele designs zijn zwakker, en nog steeds informatief wanneer het alternatief een claim zonder vergelijking is.

“De effectgrootte in de meta-analyse is groot.” Op welke uitkomst, in wiens klas? Beide voorspellingsintervallen die O'Neill vond, omvatten nul.

“Ons dashboard laat sterke betrokkenheid zien.” Betrokkenheid is een secundaire maat op de lijst van AI Ed Evaluation. Zet de leeruitkomst zonder hulp ernaast.

Wat u deze week kunt doen

1. Schrijf uw claim als één zin en onderstreep de uitkomst.

2. Zet de latere meting zonder hulp in de agenda, na de interventie en niet in dezelfde week.

3. Schrijf één alinea die de vergelijkingsconditie beschrijft, in hetzelfde detail als de behandeling.

4. Haal de platformcijfers op die u al hebt en markeer elk cijfer als een artefactuitkomst of een leeruitkomst.

5. Vraag een collega om het design te lezen en te zeggen wat er verder nog veranderde tijdens het semester.

Waar u verder kunt gaan

Helpt AI studenten leren? vat samen wat het uitkomstbewijs laat zien, en Onderzoekshiaten in AIED behandelt waar het bewijs dun wordt. Hoe weten we of een educatieve AI correct werkt? is de versie van deze vraag voor mensen die een systeem bouwen of kopen.