AIEd-WissensbasisAIEd KB
Auf dieser Seite

Diese Seite wurde maschinell ins Deutsche übersetzt; die Artikelseiten sind weiterhin auf Englisch verfasst. Diese Seite auf Englisch lesen

Konzepte

Selbstauskunftsmaße

Erstellt 2026-09-12 · Aktualisiert 2026-10-10

Dies ist eine automatische Übersetzung der englischen Seite; sie wurde noch nicht von einer muttersprachlichen Person geprüft.

Selbstauskunftsmaße — Instrumente, in denen die untersuchte Person auch die Quelle der Daten ist: Fragebögen und Befragungen, Interviews, Tagebücher, selbst eingeschätzte Kompetenz, selbst geschätzte Nutzung, wahrgenommenes Lernen und Zufriedenheit. Sie sind das Arbeitspferd der Forschung zu KI in der Bildung — in dieser Wissensbasis tragen 139 Artikelseiten ein Methoden-Tag „survey“, mehr als jedes Design außer Experiment und Benchmark —, und sie sind der einzige praktische Weg, Haltungen, Überzeugungen, Absichten und Selbstwirksamkeit zu erreichen. Ihre Grenze ist kategorisch statt statistisch: ein Selbstauskunftsmaß kann Verhalten oder Lernen nicht messen, nur was jemand über Verhalten oder Lernen sagt, und die beiden klaffen in dieser Forschungsbasis oft genug auseinander, um selbst ein Befund zu sein.

Fragen zum Nachdenken

  • Wenn eine Studie sagt, Lernende hätten „hohes Engagement berichtet“: Was genau wurde gemessen — und was müssten Sie sehen, um zu schließen, dass sie sich tatsächlich engagierten?
  • In einer Studie korrelierten selbst berichtete und objektive Maße der KI-Kompetenz von Lehrkräften über vier Dimensionen hinweg nur bei r = 0.07 bis r = 0.24. Wo würde Ihre eigene Selbstbewertung wahrscheinlich am stärksten von einem Test derselben Fähigkeit abweichen, und warum?
  • Zufriedenheit ist leicht zu messen und leicht zu verbessern — ein System, das darauf optimiert ist, Nutzende zu erfreuen, wird darin gut punkten. Warum könnte das Zufriedenheit zu einem schlechten Ergebnismaß für Lernen machen, und was würden Sie stattdessen messen?
  • „Fast alle Lernenden nutzen KI für Kursarbeit“ kommt daher, Lernende zu fragen. Was könnte Fragen statt Protokollieren in beide Richtungen falsch bekommen?
  • Eine Befragung erhält 112 Antworten bei einer Antwortquote von 31%, oder 90 Antworten aus 572 Einladungen. Bevor Sie ihre Prozentwerte akzeptieren: Was wollen Sie über jene wissen, die nicht geantwortet haben?
  • Wenn eine Studie zwei selbst berichtete Variablen korreliert, die zu einem Moment gemessen wurden: Wie viele getrennte Erklärungen können Sie für die Korrelation erzeugen — und welches Design würde sie ausschließen?
  • Wenn Sie jemanden bei einer kleinen Evaluation berieten: Welche Behauptungen würden Sie mit einer Befragung stützen lassen, und bei welchen würden Sie auf Log-, Leistungs- oder Beobachtungsevidenz bestehen?

Einführung

Selbstauskunft umfasst weit mehr als den Fragebogen. Sie schließt Querschnittsbefragungen mit Likert- und anderen Bewertungsformaten ein, Interviews und Fokusgruppen, die von qualitativen Forschenden durchgeführt werden, Tagebücher und Experience Sampling, selbst eingeschätzte Fähigkeit oder Zuversicht, erinnerte Schätzungen, wie oft ein Werkzeug genutzt wurde, und wahrgenommenes Lernen oder Zufriedenheit als Ergebnisse behandelt. Was sie eint, ist die erkenntnistheoretische Position der antwortenden Person: sie berichtet über sich selbst, statt beobachtet zu werden.

Das ist keine Schwäche, für die man sich entschuldigen müsste. Viele interessierende Konstrukte — Motivation, Angst, Vertrauen, wahrgenommene Nützlichkeit, Absichten des Engagements — sind interne Zustände, die keine Logdatei festhält, und Fragen ist die einzige vertretbare Weise, sie zu erreichen. Das Problem entsteht, wenn eine Selbstauskunft genutzt wird, um eine Behauptung zu stützen, die sie nicht tragen kann, was im Kern eine Validitätsfrage ist: ob das Instrument das benannte Konstrukt misst, und ob die getroffene Behauptung von der Art ist, die Selbstauskunft sehen kann. Jenes Anliegen gehört zu Bildungsmessung und Validität von Assessments; diese Seite handelt davon, was passiert, wenn Forschung zu KI in der Bildung sich spezifisch auf Selbstauskunft stützt, und wo die Evidenzbasis zeigt, dass sie zusammenbricht.

Wie diese Seite sich zu ihren Nachbarseiten verhält. Forschungsmethoden katalogisiert Designs und ihre Stärken und Grenzen, einschließlich Befragungs- und SEM-Studien. Quantitative Forschung deckt die Familie numerischer Methoden ab. Bildungsmessung deckt Instrumententwicklung, Item-Response-Theorie und psychometrische Validierung ab. Diese Seite ist die engere Scheibe, auf die jene Seiten weisen: das Messinstrument und die Datenquelle selbst — was Selbstauskunft etablieren kann und was nicht, die wiederkehrende Lücke zwischen dem, was Menschen berichten, und dem, was sie tun, und wie man einen Selbstauskunftsbefund kritisch liest.

Was Selbstauskunft etablieren kann und was nicht

Selbstauskunft ist gut geeignet für Haltungen, Überzeugungen, Absichten, Wahrnehmungen eines Werkzeugs, affektive Zustände, und selbst beurteilte Zuversicht oder Schwierigkeit. Sie ist schlecht geeignet für Verhalten, und sie kann Lernen überhaupt nicht messen: der Glaube einer Person, etwas gelernt zu haben, ist selbst eine Wahrnehmung, und die Wissensbasis behandelt wahrgenommenes Lernen als von Lernzuwächsen verschiedene Größe.

Die Folge ist eine Menge von Behauptungen, die in einem Ergebnisteil ähnlich aussehen, sich in ihrer Stärke aber unterscheiden:

  • „Lernende fanden den Tutor nützlich“ — eine Wahrnehmung, angemessen durch Fragen gemessen.
  • „Lernende nutzten den Tutor regelmäßig“ — ein Verhalten, durch Fragen nur angenähert.
  • „Lernende lernten mehr mit dem Tutor“ — ein Ergebnis, durch Fragen überhaupt nicht etablierbar.
  • „Lehrkräfte sind zuversichtlich im Umgang mit KI“ — eine Selbstüberzeugung, kein Beleg für Kompetenz.

Zwei Implikationen folgen für alle, die diese Forschung lesen oder entwerfen. Erstens: ob ein Selbstauskunftsinstrument überhaupt sein benanntes Konstrukt misst, ist eine empirische Frage, beantwortet durch Validierung statt durch die Plausibilität der Items. Zweitens: die Richtung der Versuchung in der KI-Bildung ist konsistent: Werkzeuge werden danach bewertet, wie Nutzende sich zu ihnen verhalten, und Gefühl ist genau der Teil, den Selbstauskunft am günstigsten erfasst. Selbstbewertung ist ein Mitglied jener weiteren Familie statt ein Synonym für sie: wo Selbstauskunftsmaße Haltungen, Vertrauen und Zufriedenheit erreichen, richtet Selbstbewertung die Schätzung der lernenden Person spezifisch auf die eigene Fähigkeit, Zuversicht oder Lernen.

Ein zweites Fehlschlagmuster ist diskriminanter Kollaps zwischen zwei Selbstauskunftskonstrukten: selbst berichtete KI-Fähigkeit neben als Wirksamkeit gemessener wahrgenommener Verhaltenskontrolle zu regredieren kann einen allgemeinen Zuversichtsfaktor mit sich selbst vergleichen, weshalb Kriterien vorab festgelegt werden — ein Heterotrait-Monotrait-Verhältnis unter .85 und ein Test geschachtelter Modelle, der die Korrelation zwischen Fähigkeit und Kontrolle auf Eins beschränkt (Mnguni (2026)).

Ein validiertes Instrument kann jene Grenze präzise statt vage machen. Der AI Literacy Self-Assessment Questionnaire (AIL-SAQ) von Thianwan und Srikoon (2025) ist eine 15-Item-Skala, bestätigt mit einer stabilen Dreifaktorenstruktur über zwei Stichproben (n = 335 explorativ, n = 579 konfirmatorisch) und einem Gesamt-Cronbachs-Alpha von .934. Ihre Autoren sind ausdrücklich, dass sie wahrgenommenes Verständnis, Haltungen und Bewusstsein festhält statt demonstrierte Fähigkeit, und dass Selbstbewertungsgenauigkeit von metakognitiver Fähigkeit abhängt, die bei Kindern noch reift, sodass die Selbsteinschätzung eines Kindes ein schwächeres Signal ist als die eines Erwachsenen.

Die entgegengesetzte Wahl ist ebenfalls vertretbar: PAUSE ist ein vierdomäniger Selbstcheck zum Auslagern, der keine Verlässlichkeits- oder Validitätsevidenz veröffentlicht, kein Kompositum anbietet und feststellt, dass Messwerte keine konsequente Entscheidung rechtfertigen dürfen, und dessen Items absichtliches Scaffolding mit Substitution vermengen — eine antwortende Person, die KI früh zur Stützung einbringt, liest sich als Auslagern (Alam, 2026)).

Die Wahrnehmungs-Verhaltens-Lücke

Der stärkste Selbstauskunftsbefund in dieser Wissensbasis ist nicht, dass Selbstauskunft allgemein verzerrt ist, sondern dass berichtetes und beobachtetes Verhalten auf spezifische, dokumentierte Weisen divergieren.

Eine Studie, die parallele Selbstauskunfts- und objektive Maße der KI-Kompetenz von Lehrkräften baute fand schwache Übereinstimmung zwischen dem Selbstauskunfts- und den objektiven Faktoren (r = 0.07 bis r = 0.24) in einer Stichprobe von 288 Lehrkräften, wobei konfirmatorische Faktorenanalyse die Konstruktvalidität beider Maße stützte und dabei eine niedrige Korrelation zwischen dem Selbstauskunfts- und den objektiven Faktoren zeigte. Die beiden Instrumente waren glaubwürdig; sie maßen schlicht verschiedene Dinge. In der vollen Stichprobe von 288 Lehrkräften liefen die Korrelationen zwischen den objektiven und den selbst berichteten Faktoren von r = 0.07 bis r = 0.24, und latente Profilanalyse fand 43 Lehrkräfte, die sich selbst hoch bewerteten, während sie im objektiven Maß niedriger abschnitten, gegenüber 59, die das umgekehrte Muster zeigten.

GLAT erreicht dieselbe Schlussfolgerung aus der anderen Richtung: sein 20-Item-Leistungstest sagte Leistung bei GenAI-gestützten Lernaufgaben in einer Intra-Subjekt-Studie mit 83 Lernenden voraus, während selbst berichtete ChatGPT-Kompetenz es nicht tat. Die Rahmung der Autoren ist unverblümt — Instrumente in diesem Bereich stützen sich überwältigend auf selbst berichtete Befragungen, „which capture perceived rather than actual competence and are prone to bias and overestimation“.

Verhaltensschätzungen zeigen dieselbe Spaltung. Eine großangelegte Studie zum wettbewerbsorientierten Programmieren berichtete eine Diskonnektion zwischen selbst berichteter Zuversicht und tatsächlichem Übungsverhalten, wobei erstere ein schlechter Stellvertreter für letzteres ist. Eine Studie zur Lernendenmodellierung ist offen, dass Nutzungshäufigkeit selbst berichtet auf einer Never-to-Daily-Skala war statt beobachtet, und dass bei sowohl selbst berichteten Prädiktoren als auch Ergebnissen Antwortstile wie Zustimmungstendenz oder Extremwertbias die Assoziationen erzeugen könnten.

Manchmal werden Fragen und Beobachten direkt gegeneinander aufgestellt. Ein Scoping-Review von 46 Kategorisierungen aus 33 Studien fand die Literatur etwa gleichmäßig gespalten zwischen Selbstauskunft und Interaktionslog-Daten und schloss, dass Kategorien „often reflect the measurement approach as much as the interaction itself“ —, wobei Selbstauskunftstudien Wahrnehmungen und Absichten erfassen, während logbasierte Studien beobachtbares konversationelles Verhalten erfassen, und die beiden selten integriert werden. Prozessdatenarbeit zu GenAI-Kompetenz macht die konstruktive Version des Punkts: ob eine lernende Person iterativ promptet, Ausgabe verfeinert und Halluzinationen managt, ist in Interaktionslogs beobachtbar und nicht in einem Fragebogen.

Ein strukturierter Review von 2026 und eine explorative Metaanalyse von Maßen für kompetenten Umgang mit generativer KI legen aus der anderen Richtung eine gepoolte Zahl auf jene Lücke: das Poolen dreier direkt berichteter Korrelationen zwischen subjektiven und objektiven Maßen in derselben Stichprobe (kombiniert berichtetes N = 2,765) ergab r = .055 (Hartung–Knapp 95%-KI [−.047, .156]), und das Hinzufügen der Kreuzfaktorkorrelationen einer vierten Studie erreichte nur r = .079. Alle drei primären Effekte stammten aus einem einzigen Forschungsprogramm, die berichtete Korrelation und der p-Wert des größten Beitragenden konnten nicht in Einklang gebracht werden, und der Review schließt, dass Selbstauskunft nicht für objektive Leistungs-Scores einspringen kann —, während er vermerkt, dass die Leistungsinstrumente selbst eng sind und Grundlagenwissen abdecken statt jener Aufsichts- und Vertrauensverhaltensweisen, die bei der Arbeit zählen (Verí (2026)).

Die Instrumentenliteratur selbst kann als Evidenz für das Ausmaß der Lücke gelesen werden. Zainal, Mohd Matore und Maat (2026) begutachteten 33 Instrumente für KI-Kompetenz von Lehrkräften und fanden, dass 31 (93.9%) Selbstauskunftsskalen wahrgenommener Zuversicht waren, nur zwei (6.1%) Wissen objektiv testeten, und keine leistungsbasierte Aufgaben nutzten zwischen 2019 und 2025. Ihre Schlussfolgerung ist jene, zu der diese Seite aus anderen Richtungen immer wieder gelangt: Selbstauskunftsscores indizieren Zuversicht statt Fähigkeit, daher können sie nicht für Kompetenz einspringen, wenn Gruppen oder Programme verglichen werden.

Ergebnismaße erben dieselbe Lücke. Pramod und Patil (2026) modellieren den Pfad von agentischer KI über Motivation und soziale Präsenz zu dem, was sie als Lernleistung bezeichnen, mit einem Koeffizienten von 0.671 — der stärksten Beziehung in der Studie —, und ihr eigener Grenzen-Abschnitt stellt fest, dass diese abhängige Variable die Wahrnehmungen der Lernenden widerspiegelt und nicht Prüfungsergebnisse, Aufgabenleistung oder Learning Analytics. Das ist das Muster, das man in Pfadmodellen allgemein sorgfältig lesen sollte: ein großer Koeffizient auf einem wahrgenommenen Ergebnis quantifiziert, wie konsistent Lernende glauben, etwas habe geholfen, und sagt noch nichts darüber, ob es das getan hat.

Zufriedenheit und wahrgenommenes Lernen als Ergebnisse

Zufriedenheit ist das am häufigsten selbst berichtete Ergebnis in diesem Korpus, erscheinend auf 63 Artikelseiten. Sie ist auch der schwächste Stellvertreter für Lernen, und die Wissensbasis enthält ausdrückliche Argumente in diese Richtung.

  • Arbeit zu sequenziertem KI-Feedback stellt das Designprinzip direkt fest: Nutzendenzufriedenheit und Verhaltensengagement sind keine verlässlichen Stellvertreter für Lernzuwächse, daher muss Lernen direkt gemessen werden.
  • Zu pädagogischer Anleitung merkt an, dass aktuelle Sprachmodelle auf Hilfestellung instruktionsjustiert sind, die Nutzendenzufriedenheit maximieren, während das Ziel eines Tutors darin besteht, Lernen zu maximieren —, die beiden Ziele können in Konflikt stehen, was Zufriedenheit zu einem potenziell irreführenden Ziel macht statt bloß zu einem schwachen.
  • Eine Scaffolding-Studie argumentiert, dass wahrgenommene Nützlichkeit, leichte Nutzung und unmittelbare Zufriedenheit nicht als hinreichende Indikatoren für Scaffolding-Wirksamkeit behandelt werden sollten.
  • Zu persönlichkeitsausgerichteter Modellierung von Lernenden beobachtet, dass für Nutzendenzufriedenheit zu optimieren nicht dasselbe ist wie für Lernleistungen zu optimieren, und dass die beiden auseinanderfallen können.

Das Muster, das es mitzunehmen gilt: Zufriedenheit reagiert auf die falschen Dinge, wenn Lernen das Ziel ist. Ein System, das schnell antwortet, bereitwillig zustimmt und Anstrengung reduziert, wird hoch bewertet werden, und genau diese Eigenschaften sind jene, die die Wissensbasis mit reduziertem produktivem Ringen und aufgeblähter Leistung bei KI-assistierter Arbeit verbindet. Berichtete Zufriedenheit und gemessenes Lernen sind keine Feinde; sie sind einfach keine Substitute, und das erste als Evidenz für das zweite zu behandeln ist das häufigste Abrutschen, das diese Seite dokumentiert.

Was ein Selbstauskunftsinstrument glaubwürdig macht

Vier Eigenschaften trennen eine Befragung, die eine Behauptung stützen kann, von einer, die es nicht kann.

  • Konstruktvalidität. Es muss gezeigt sein, dass Items das benannte Konstrukt messen, idealerweise mit Faktorenanalyse. Die Parallelmaßstudie oben validierte beide ihre Instrumente und fand dennoch, dass sie divergierten — die Validität eines Instruments sagt nichts darüber, ob es Verhalten erfasst.
  • Verlässlichkeit und Struktur. Faktorvalidierte Instrumente kehren in diesem Korpus wieder, von Maßen der KI-Kompetenz von Lehrkräften, die in Selbstbestimmungstheorie fundiert sind bis zu Akzeptanzskalen, die mit TAM und SEM in Studien zu KI-gestützten Sprachwerkzeugen modelliert sind.
  • Invarianz, wenn Gruppen verglichen werden. Eine Skala, die sich über Populationen hinweg verschieden verhält, kann keinen Vergleich stützen. Multigruppen-SEM-Arbeit berichtet Tests auf Messinvarianz (konfigural, metrisch, skalar) neben ihren indirekten Effekten, und ein Schweiz-China-Vergleich fand, dass nur intrinsischer Wert metrische Invarianz erreichte und nicht skalare —, eine Grenze, die angegeben statt verborgen wird und die einschränkt, was seine länderübergreifenden Unterschiede bedeuten können.
  • Eine Leistungsalternative dort, wo Kompetenz das Konstrukt ist. GLATs 20 Multiple-Choice-Items existieren genau deshalb, weil Selbstauskunft keine Kompetenzbehauptung tragen kann.

Stichprobenziehung, Antwort und Nichtantwort

Weil Befragungen günstig zu erheben sind, scheitert die Generalisierbarkeitsbehauptung üblicherweise bei den Stichprobenproblemen. Dieser Korpus berichtet sie explizit und instruktiv:

  • Eine britische Befragung zur GenAI-Nutzung von Lernenden berichtet eine Gelegenheitsstichprobe an 7 Einrichtungen, stark variierende institutionelle Antwortquoten, und Nichtantwort-Bias, der zu Lernenden mit starken Ansichten hin verzerren kann —, und vermerkt, dass ~32% der Antwortenden Verhalten beschrieben, das argumentabel gegen die Richtlinie verstieß, in einem Format, in dem soziale Erwünschtheit und Kontextdruck Unterberichten zur wahrscheinlichen Fehlrichtung machen.
  • Eine Studie zu KI-gestütztem Benotungsfeedback ruht auf 112 Antworten, einer Antwortquote von 31%.
  • Eine Fakultätsstudie stützt sich auf 90 MINT-Fakultätsmitglieder aus 572 eingeladenen Preisträgerinnen und Preisträgern — 16%.
  • Eine soziologische Befragung erhielt 504 Antwortende aus 844 Eingeladenen, wobei die Autoren vermerken, dass die Antwortquoten nach Frage variierten.
  • Eine Delphi-Studie schloss ihre erste Runde mit 17 Antwortenden ab, eine Grenze, die sie schlicht angibt.

Selbstselektion verstärkt dies. Eine Inokulationsstudie rekrutierte 782 Teilnehmende und behielt 100 gültige Fälle aus einer Gelegenheitsstichprobe selbst berichteter ChatGPT-Nutzender; eine Physikstudie ließ Lernende in eine Extra-Credit-Aufgabe selbstselektieren, was Ansichten plausibel zu den Entgegenkommenden hin verzerrt und Skeptikerinnen und Skeptiker ausschließt.

Zwei weitere, spezifisch an Selbstauskunft hängende Fehler kehren wieder. Grenzen der Introspektion und Bias sozialer Erwünschtheit werden als intrinsisch für Selbstauskunft benannt in Arbeit zu Engagement-Assessment und in Studien, deren qualitative Daten auf Selbstauskunft bauen. Varianz gemeinsamer Methode entsteht, wenn Prädiktoren und Ergebnisse von denselben Antwortenden zur selben Zeit kommen: eine Studie zu moderierter Mediation von KI-Nutzung und kritischem Denken operationalisierte Nutzung, kognitive Last und selbstreguliertes Lernen alle über standardisierte Selbstauskunftsinstrumente zu einem einzigen Zeitpunkt und nennt Common-Method-Bias als Folge; eine PLS-SEM-Studie zu Motivation und Engagement ruht ebenfalls gänzlich auf Selbstauskunft und kann unter ihren Mediatoren keine zeitliche Ordnung etablieren.

Abhilfe: nicht-selbstauskunftliche Evidenz hinzufügen

Die konstruktiven Antworten der Wissensbasis sind konsistent, und keine erfordert, Befragungen aufzugeben.

Wie man eine Selbstauskunftbehauptung liest

  • Fragen, welche Art von Behauptung es ist. Wahrnehmungen sind zulässig; Verhalten ist angenähert; Lernen und Kompetenz sind so nicht erreichbar.
  • Prüfen, wer geantwortet hat und wer nicht. Antwortquote, Stichprobenrahmen und Selbstselektion entscheiden, was die Prozentwerte beschreiben — eine Studie zu den Lernenden einer Einrichtung beschreibt jenes Setting, nicht Lernende allgemein.
  • Das Instrument prüfen. Wurde es für dieses Konstrukt und diese Population validiert, und wenn Gruppen verglichen werden, wurde Invarianz getestet?
  • Auf Eingruppendesigns achten. Wenn Prädiktoren und Ergebnisse beide aus demselben Fragebogen zu einem Zeitpunkt kommen, sind die Assoziationen mit Varianz gemeinsamer Methode ebenso konsistent wie mit der vorgeschlagenen Theorie.
  • Zufriedenheit als Design-Signal behandeln, nicht als Lernleistung. Hohe Zufriedenheit plus ungetestetes Lernen ist die Standardkonfiguration in der Evaluation von KI-Werkzeugen, und dieser Korpus zeigt, dass die beiden divergieren.
  • Studien bevorzugen, die ihre Rechnung zeigen: angegebene Antwortquoten, angegebene Grenzen, und mindestens eine Evidenzquelle, die nicht aus Fragen kommt.

Verbundene Konzepte

Verbundene Artikel

Verknüpfte FAQs

Metadaten

StudiendesignSurvey
ZielgruppeResearchers, Instructors
Lernen und UnterrichtSelbstwirksamkeit, Studierendenengagement
Assessment und MessungValidität von Assessments, Bildungsmessung, Lerngewinne
Forschungsmethoden und EvaluationQuantitative Forschung, Forschungsmethoden in der AIED, Qualitative Forschung
Gerechtigkeit, Ethik und verantwortungsvoller EinsatzVertrauenskalibrierung
Grundlagen von KI in der BildungKI-Kompetenz
SeitenartEvaluation
SourceHistoryEditChat

Diese Seite einbetten

Kopieren Sie den Code unten, um diese Seite in ein Lernmanagementsystem oder eine andere Website einzubetten. Die eingebettete Version zeigt nur den Seiteninhalt — Kopfzeile, Navigation und Fußzeile der Website werden ausgeblendet.