Halluzinationsrisiko

Dies ist eine automatische Übersetzung der englischen Seite; sie wurde noch nicht von einer muttersprachlichen Person geprüft.

Halluzinationsrisiko — die Gefahr, dass KI-Systeme in Bildungskontexten plausible, aber faktisch falsche oder erfundene Inhalte erzeugen, wo solche Fehler Lernende in die Irre führen, Vertrauen untergraben und ungültige Assessments hervorbringen können. Halluzination ist in der Bildung besonders folgenreich, weil Studierenden das Domänenwissen fehlen kann, um KI-Fehler zu erkennen, und Lehrende sich auf KI-generierte Diagnosen oder Feedback stützen können, die autoritativ erscheinen, aber unbegründet sind.

Fragen zum Nachdenken

• Studierenden fehlt oft das Domänenwissen, um den Fehler einer KI zu erkennen, und Lehrende können KI-Diagnosen vertrauen, die autoritativ klingen. Wie macht diese Wissensasymmetrie zwischen KI und lernender Person Halluzination in der Bildung besonders gefährlich?
• Eine Studie fand, dass eine KI, die handgeschriebene Mathematik von Studierenden diagnostizierte, Belegzitate erfinden konnte, die nicht vorhanden waren, und dabei Konfidenz behauptete. Wenn eine KI sicher klingt und „Belege“ anführt, was sollte Sie innehalten und prüfen lassen?
• Wenn ein KI-Tutor falsche Lösungen übervalidiert und gültige, aber suboptimale Argumentation übermäßig zurückweist, wie wäre der langfristige Effekt auf die Studierenden und Lehrenden, die ihr vertrauen?
• Die Seite schlägt Human-in-the-Loop-Prüfung, belegbewusste Konfidenzkalibrierung und Verankerung in verifizierten Quellen als Milderungsmaßnahmen vor. Welche davon erscheint in Ihrem eigenen Kontext am machbarsten, und was könnte sie dennoch übersehen?
• Wie könnte Halluzination mit übermäßiger Abhängigkeit interagieren: Warum ist ein KI-Fehler am gefährlichsten, wenn Nutzende der Ausgabe unkritisch vertrauen, statt wenn sie skeptisch sind?
• Wenn Sie ein KI-Feedback-Werkzeug für Ihre Studierenden entwerfen würden, welche konkreten Schutzmaßnahmen würden Sie gegen plausible, aber falsche Ausgaben verlangen — und wie würden Sie wissen, dass sie wirken?

Einführung

Halluzination in Bildungs-KI nimmt mehrere Formen an, die in den Artikeln dieser Wissensbasis dokumentiert sind: erfundene Belege im studentischen Assessment, überkonfidente Fehldiagnose des Wissens Lernender, und plausibel klingende, aber falsche Erklärungen, die Studierende als Wahrheit akzeptieren. Das Risiko ist in der Bildung verstärkt, weil die Wissensasymmetrie zwischen KI und lernender Person bedeutet, dass die lernende Person schlecht positioniert ist, KI-Ausgaben zu prüfen. Ein weiteres Setting sind KI-generierte Kurslektüren, die für ein Lehrbuch einspringen: In einem Graduiertenkurs, der seinen kommerziellen Text auf diese Weise ersetzte, trugen nur etwa 0.80% von 4.487 protokollierten Seiten ein In-Text-Zitat im APA-Stil, und DOI-Zeichenfolgen fehlten praktisch völlig, sodass die meisten Behauptungen nicht innerhalb des Artefakts auditiert werden konnten (Sidorkin, 2026). Diese Lücke der Nachvollziehbarkeit ist von einer falschen Antwort zu unterscheiden, weil der Text als autoritativ liest und dabei nur begrenzte interne Mittel der Bestätigung bietet.

Ein Review von 125 Studien grenzt die Prävalenz und die Erkennungslücke ein: Halluzinationsraten von 10–40%, wobei Medizinstudierende KI-Fehler nur in 44–55% der Fälle erkannten (Rathnayake (2026)).

Markierte Unzuverlässigkeit senkte die berichtete Abhängigkeit, statt sie zu erhöhen. Als 546 Teilnehmende denselben GAI-Dialog lasen, der entweder als gefälschte Informationen enthaltend oder als verifiziert korrekt markiert war, erzeugte die Fälschungsmarkierung geringeres Vertrauen und geringere wahrgenommene Kontrollierbarkeit sowie höhere kognitive Dissonanz und Frustration neben geringeren Abhängigkeitswerten (M = 2,935 gegenüber 3,254) (Liu et al. (2026)). Das Ergebnis qualifiziert die Überverlass-Logik dieser Seite: zu sehen, dass eine Ausgabe gefälscht sein könnte, ist nicht dasselbe, wie weiter auf sie zu bauen. Assessment-Halluzination ist besonders schädlich. MathCog fand, dass LLMs beim Diagnostizieren kognitiver Fähigkeiten Belegzitate erfinden, die in der Handschrift der Studierenden nicht vorkommen, wobei 58.5% der falschen Diagnosen von falschen Behauptungen beleglicher Konfidenz begleitet waren. The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows dokumentierte systematische Überattribution von Belegen im LLM-Schließen — Modelle behaupten belegliche Unterstützung, wo keine existiert. Beides verbindet sich mit Anliegen an Evaluation von KI in der Bildung und Knowledge Tracing hinsichtlich der Validität von Assessments. Ivory et al. (2026) fügen zwei Fehlermodi hinzu, die sichtbar werden, wenn KI-Ausgaben bewertet statt inspiziert werden: erfundene Einzelheiten, die die Bewertung überleben — ein rezensiertes Paper, das es nicht gibt, samt nicht auflösbarer DOI, und ein als 378 berichteter Stichprobenumfang, wo die Quelle 329 sagte —, und Selbstwiderspruch innerhalb einer einzelnen Antwort, wo das Modell sich zur richtigen Option hinschloss und dann in seiner abschließenden Zusammenfassung eine andere berichtete. Weil Literaturlisten derzeit auf Formatierung statt auf Genauigkeit bewertet werden, erreicht diese Fehlerklasse eine bestehende Note, während sie die Person in die Irre führt, die dasselbe Werkzeug zum Wiederholen nutzt.

In einem Design-Piloten für Assessments fanden Paula et al. (2026) erfundene Referenzen und unrealistische Zeitschätzungen, die wiederholtes Prompting überlebten und erhebliche akademische Überarbeitung erforderten — Halluzination in einem auf Lehrende gerichteten Entwurfswerkzeug statt in studentischer Arbeit.

Strategische Missverständnisse sind ein subtilerer Verwandter offener Halluzination. Miličević et al. (2026) veranlassten sieben offene Gewichtsmodelle, eine „sokratische Falle“ für 35 zentrale Informatikkonzepte zu erzeugen — eine Erklärung, die flüssig und autoritativ ist, während sie auf einem subtilen, fachspezifischen Fehler ruht —, und drei Domänenexpertinnen und -experten bestätigten 221 von 241 veranlassten Segmenten (91.7%) als strategische Missverständnisse, ohne signifikante Unterschiede zwischen Informatikdomänen. Die Fehler waren überwiegend konzeptuell statt faktisch (66.5% gegenüber 33.5%) und keine rein logisch, und sie wurden als mäßig bis hoch überzeugend bewertet (M = 3.71 auf einer Fünf-Punkte-Skala), wobei Modellidentität 43% der Varianz erklärte. Weil einzelne Aussagen korrekt sein können, während die Beziehung zwischen ihnen falsch ist, genügt Fact-Checking nicht; die Autoren argumentieren, Lernende bräuchten konzeptuelle Verifikation und Validierung mentaler Modelle. Sie mahnen zudem, dass die Rate die Fähigkeit unter adversarischem Prompting misst statt die Prävalenz solcher Fehler im gewöhnlichen Gebrauch, und dass keine Studierenden getestet wurden, also keine Täuschung oder kein Lern Ergebnis gemessen wurde.

Manipulierte statt erfundene Belege. Ein verwandter Fehlermodus in der automatisierten Bewertung ist von außen bewegte Ausgabe. Humble (2026) red-teamte einen routinemäßigen KI-Bewertungsarbeitsablauf und fand, dass Anweisungen, die in der eingereichten Datei versteckt waren, die Note eines durchfallenden Aufsatzes ohne sichtbare Warnung hoben — in 9 von 9 Iterationen bei einer Strategie und 17 von 18 bei einer anderen. Zwei Details betreffen Vertrauenskalibrierung: eine erkannte Injektion wurde blockiert, indem der Chat stillschweigend deaktiviert und der Nutzerin oder dem Nutzer nie gemeldet wurde, und bei einem Lauf, bei dem das Werkzeug ankündigte, nur den offiziellen Aufgabenanweisungen zu folgen, hoben sechs Wiederholungen derselben Datei die Note dennoch. Eine auf diese Weise erhaltene Note trägt keinen Anspruch auf Validität, und weil die Manipulation keine dauerhafte Spur hinterlässt, bleibt die Lehrkraft die einzige echte Prüfung für Ausgabe, die darauf angelegt ist, nicht sichtbar zu sein.

Verteidigungen gegen solche Manipulation tragen ihren eigenen Trade-off: eine mehrschichtige Leitplanken-Pipeline ließ 46.34% der Injektionen erfolgreich und Prompt Guard 38.48%, während NeMo Guardrails jeden Angriff blockierte, aber 16.22% harmloser Studierendenanfragen markierte — eine False-Positive-Rate, die in einem Tutor selbst pädagogischer Schaden ist (Maiorano (2026)).

Tutoring-Halluzination beeinflusst das Lernen unmittelbar. Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most fand, dass LLMs falsche Lösungen übervalidierten, während sie gültige, aber suboptimale Argumentation übermäßig zurückwiesen — systemische Fehler, die sowohl Studierende als auch Lehrende in die Irre führen würden. Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks und EduGuard: A Safe RAG-Based LLM Tutor for Programming Education adressieren Sicherheitsmechanismen für Bildungs-LLMs. Diese Risiken verbinden sich mit pädagogischer Sicherheit und Anforderungen an Human-in-the-Loop-KI.

Milderungsansätze umfassen Human-in-the-Loop-Designs, in denen KI das Urteil der Lehrkräfte stützt statt es zu ersetzen, belegbewusste Architekturen, die Konfidenz an der Qualität der Belege kalibrieren (wie von MathCog befürwortet), und RAG-basierte Verankerung, die LLM-Ausgaben auf verifizierte Quellen begrenzt. Das Konzept übermäßige Abhängigkeit ist eng verwandt — Halluzination ist am gefährlichsten, wenn Nutzende KI-Ausgaben unkritisch vertrauen. Sidorkin (2026) fügt einen Fehlermodus hinzu, den der Milderungs-Stack nicht vollständig abdeckt: über-spezifische institutionelle Behauptungen, wobei etwa 1.03% der protokollierten Seiten einen benannten Campus wie „Sacramento State“ mit assertiven Politikverben über überarbeitete Bleibe-, Tenure- und Beförderungsregeln oder CSU Executive Orders paaren, von denen keine aus dem Text verifizierbar ist. Spezifität ist es, was dies kostspielig macht, da eine erfundene lokale Einzelheit exakt genug aussieht, um die Plausibilitätsprüfung einer Leserin oder eines Lesers zu überstehen, und das von der Studie vorgeschlagene Gegenmittel ist prozedural statt technisch: Erzeugung als Entwurfsproduktion unter Prüfung durch die Lehrkraft behandeln, dann Quellen zu einem retrieval-gestützten Design kuratieren.

Verbundene Konzepte

• Kognitive Auslagerung
• Human-in-the-Loop-KI
• Evaluation von KI in der Bildung
• Pädagogische Sicherheit
• Wissensstandsverfolgung
• RAG (retrieval-augmented generation / abrufgesteuerte Generierung)
• Akademische Integrität
• Lehre
• Multimodale KI
• Generative KI
• Große Sprachmodelle (LLMs)
• Produktives Scheitern

Verbundene Artikel

• GAI hallucinations and user dependence: cognitive-affective responses and individual differences — Labeling a GAI dialogue as fabricated lowered trust and dependence together

• The Integrity of Psychology Assessments in the AI Age: A Critical Examination — Fabricated citations and self-contradicting outputs inside passable student work (Ivory et al. 2026)

• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work

• The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows

• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most

• Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks

• EduGuard: A Safe RAG-Based LLM Tutor for Programming Education

• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs

• VeriForge: Mitigating Latent Knowledge Gaps in Narrative Drafting via Mixed-Initiative Scaffolding

• Generative AI in Higher Education: A Systematic Review of Opportunities, Challenges, and Pedagogical Innovations (2022–2025)

• From One-Size Texts to Tailored Readings: Student Experiences with AI-Generated Course Materials

• The Socratic trap: Benchmarking the capacity of large language models to generate strategic misconceptions in computer science education — SocraticTrap-CS: fluently plausible explanations that are wrong at the conceptual level (Miličević et al. 2026)

• Ethical implications of prompt injection in AI-mediated grading: An adversarial red-team evaluation — Hidden prompt injections raise AI-graded marks undetected, and detected attacks go unreported (Humble 2026)

• Designing Authentic Assessments with Generative AI: A Pilot Study of Assessment Authentifire in Higher Education — Designing Authentic Assessments with Generative AI: A Pilot Study of Assessment Authentifire in Higher Education