Auf dieser Seite

Diese Seite wurde maschinell ins Deutsche übersetzt; die Artikelseiten sind weiterhin auf Englisch verfasst. Diese Seite auf Englisch lesen

Dies ist eine automatische Übersetzung der englischen Seite; sie wurde noch nicht von einer muttersprachlichen Person geprüft.

Multimodale KI — KI-Systeme, die Inhalte über mehrere Modalitäten hinweg verarbeiten, verstehen oder generieren — Text, Bilder, Audio, Video und strukturierte Daten —, und die Bildungsfragen, die diese Systeme aufwerfen. In KI in der Bildung erscheint multimodale KI in drei unverwechselbaren Rollen: als der Lerninhalt, den Lernende schaffen und mit dem sie sich einlassen (multimodales Lernen), als die Fähigkeitsgrenze von Tutoringsystemen, die Diagramme und Graphen interpretieren müssen (multimodales Tutoring), und als das Assessmentsignal, das zur Evaluation von Verstehen genutzt wird (multimodale Messung).

Fragen zum Nachdenken

  • Denken Sie an einen Graphen, ein Kraftediagramm oder eine Skizze, die Sie in Worten zu erklären gekämpft haben. Was legt diese Erfahrung über die Grenzen eines rein textbasierten KI-Tutors nahe, der bei bildreichen Problemen helfen will?
  • Ein Physik-Tutor beantwortet textbasierte Probleme ~96% der Zeit, fällt aber auf ~74% bei Problemen, die Bedeutung in Diagramme einbetten. Was verursacht Ihrer Meinung nach diese „multimodale Interferenz“ vor der Lektüre —, und können Sie sich eine Lösung denken, die kein Neutrainieren des Modells erfordert?
  • Sie haben wahrscheinlich sowohl Text als auch Bilder mit KI-Werkzeugen generiert. Haben Sie gefunden, dass „Prompten für Bilder“ sich vom Prompten für Text unterscheidet? Welche Fähigkeiten könnten Studierende brauchen, um eine abstrakte Idee in einen präzisen visuellen Prompt zu übersetzen?
  • Multimodale KI kann Aufsätze benoten, Feedback mit Audioerzählung generieren und sogar Prüfungsitemstatistiken aus Bild-und-Text-Items rekonstruieren. Was signalisiert (oder riskiert) die Verschiebung von reinem Text zu multimodalem Assessment für Fairness und Validität?
  • Wie könnte die Tatsache, dass KI-Unterstützung bei genau den diagrammlastigen Problemen weniger verlässlich ist, die tiefes STEM-Verstehen aufbauen, eine Gerechtigkeitslücke zwischen Lernenden schaffen? Wer ist am stärksten betroffen?
  • Multimodale Systeme können Text zu Audio oder Visuals übersetzen, um inklusives Lernen zu stützen, ermöglichen aber auch feingranulares Klassenzimmer-Sensing. Wo ist die Grenze zwischen hilfreichem multimodalem Zugang und Überwachung?

Einführung

Multimodalität in KI bezieht sich auf die Fähigkeit, über verschiedene Repräsentationsformen zu arbeiten statt nur über Text. Moderne generative KI- und LLM-Systeme akzeptieren und produzieren zunehmend Bilder, Audio und Video zusätzlich zu Text, was neue Möglichkeiten und neue Risiken für Bildung eröffnet. Gegründet in sozial-semiotischer Theorie, die vertritt, dass Bedeutung über Modi hinweg gemacht wird — nicht nur Wörter —, verändert multimodale KI, wie Lehren, Lernen und Assessment gestaltet und evaluiert werden.(Multimodal Learning with Generative AI)

Drei Gesichter multimodaler KI in der Bildung

1. Multimodales Lernen und Inhaltserzeugung

Multimodale KI ermöglicht Lernenden, Inhalte über Text, Bild, Audio und Video zu produzieren und sich damit einzulassen. Ein Leitfaden für Lehrende zu multimodalem Lernen mit generativer KI positioniert diese Werkzeuge als „kyber-sozialen“ Partner: sie ergänzen —, können aber nicht ersetzen — menschliche Sinnstiftung.(Multimodal Learning with Generative AI)

  • KI-Kompetenz in multimodalen Kontexten ist geschichtet: grundlegendes Bewusstsein multimodaler Plattformen, intermediäre Ko-Kreation und kritische Evaluation von Outputs, und fortgeschrittenes Design multimodaler Aktivitäten und Assessments.(Multimodal Learning with Generative AI)
  • Multimodales Prompting ist selbst eine anspruchsvolle epistemische Praxis. Studierende, die für Bilder ebenso wie für Text prompten, entdecken, dass „Prompt-Literacy sich zwischen Prompten für Text und Prompten für Bilder unterscheidet“ — abstrakte Bedeutung in maschinenlesbare multimodale Prompts zu übersetzen erfordert ein präzises visuelles Vokabular und exponiert Systemgrenzen und -bias.(Students' multimodal prompting practices as epistemic work in AI literacy development)
  • Multimodales Assessment verschiebt sich von Aufsätzen zu Artefakten, die Text, Bild, Audio und Video kombinieren, wobei Lehrende KI nutzen, um Erzeugung und Feedback zu gerüsten statt die eigene Produktion der lernenden Person zu ersetzen.(Multimodal Learning with Generative AI)
  • Multimodales Komponieren der Lernenden als Gerüst für kritisches Denken trägt einen Trade-off. Lu et al. (2027) zeigen, dass es, wenn Schülerinnen und Schüler der oberen Grundstufe schriftliche Erzählungen in KI-generierte Bilder und kurze Videos verwandeln, anhaltende Zuwächse in Interpretation, Analyse, Evaluation und Erklärung stützte —, aber nicht Inferenz. Weil die Visuals Geschichtsverstehen explizit machten, berichteten Studierende geringere Notwendigkeit, implizite Bedeutung aus Text allein zu inferieren; Peer-Kollaboration, nicht das multimodale Werkzeug, stellte Gelegenheiten für Inferenz wieder her. Der Wert multimodaler KI als Sinnstiftungspartner ist damit dimensionsspezifisch und hängt von Instruktionsdesign ab, das die inferenzielle und selbstregulatorische Arbeit bewusst wieder einführt, die die Externalisierung kurzschließen kann.
  • Multimodale Komposition der Lernenden als kritische KI-Kompetenz. Burriss et al. (2026) analysieren 90-Sekunden- bis 3-minütige Video-Public-Service-Ankündigungen von 22 Elftklässlerinnen und Elftklässlern zu selbstgewählten KI-Ethikthemen — Überwachung durch schulregulierte Laptops und elektronische „Hall-Passes“, informierte Einwilligung und punitive algorithmische Anschuldigung —, als kritische KI-Kompetenz, vollzogen durch Komposition über bewegtes Bild, Ton, Text und die eigenen Körper der Studierenden. Über alle sieben Filme hinweg wurde Schaden als aus Mensch-Maschine-Verstrickung entstehend dargestellt statt aus dem Werkzeug allein (ein anthropomorphisierter „KI-Stalker“ wurde in drei von sieben von einem menschlichen Schauspieler gespielt), und 15 von 18 Einheitsende-Antworten sagten, Komposition habe ihr Verständnis von KI-Ethik verändert. Die Autoren argumentieren, multimodale Produkte demonstrierten und kommunizierten kritische Kompetenz sowohl —, produktive Artefakte, Reflexionen und bürgerschaftlicher Diskurs können als Assessmentbeleg dienen, den rein textliche Kompetenz strukturell übersieht.

2. Multimodales Tutoring und die Fähigkeitsgrenze

Wenn LLM-basierte Tutoren Probleme lösen müssen, die Bedeutung in Graphen, Kraftediagramme, Skizzen oder Tabellen einbetten, sinkt ihre Genauigkeit scharf — der Multimodale-Interferenz-Effekt.(Multimodal Dialogue in STEM Education)

  • Bei OpenStax-Physikproblemen sinkt rein-textliche Genauigkeit von ~96% auf ~74% bei bildreichen Problemen, konsistent über Modellfamilien hinweg.(Multimodal Dialogue in STEM Education)
  • Visuelle Verarbeitungsfehler — Versagen, Informationen aus Graphen oder Diagrammen zu extrahieren — dominieren die Fehlertaxonomie und sind der korrigierbarste Fehlermodus.
  • Eine einfache strukturierte-Dialog-Intervention (das Modell beschreiben lassen, was es sieht, nur beobachtbare Fehllesungen korrigieren, ohne Physik zu verraten, dann erneut prompten) stellt Genauigkeit auf ~95% wieder her, ohne Neutraining.(Multimodal Dialogue in STEM Education)
  • Das ist ein Gerechtigkeitsanliegen: Studierende, die an bildreichen Problemen arbeiten — genau die Probleme, die tiefes konzeptionelles Verstehen in STEM aufbauen —, erhalten derzeit weniger verlässliche KI-Unterstützung als jene an rein-textlichen Übungen.
  • Eine visuelle Hilfe zu konstruieren ist schwerer als eine zu lesen. Auf GeoVAD-Bench hob das Liefern eines expertenhaften Hilfsdiagramms die Genauigkeit (+3.3 bis +7.0 Punkte), aber Modelle ihre eigene Hilfslinie konstruieren zu lassen verbreiterte die Lücke um 10.0 bis 13.5 Punkte —, zwei Modelle erzielten schlechtere Ergebnisse als ohne visuelles Schlussfolgern (Dong et al., 2026).
  • Die Grenze ist ein Profil, kein Niveau —, und künstlerische Bildsprache sitzt außerhalb der Region, die Modelle gut handhaben. MUSE (Zhu et al., 2026) evaluiert 30 offene und proprietäre VLMs auf 12 Aufgaben über 1.174 beauftragte Kunstwerke, und die Fähigkeitsstreuung über Dimensionen hinweg ist breiter als jeder aggregierte Score nahelegt: Szenenklassifikation ist fast ausgereift (23 von 30 Modellen über 75.0, Median 81.0), während Emotionserkennung bei 39.5 endet und die offenen Aufgaben, die von Modellen verlangen, ihren Beleg zu artikulieren, bei 50.90 (visuelle Hinweisidentifikation) und 49.18 (Emotionsursacheninferenz) auf semantischer Ähnlichkeit erzielen. Kompositionales und sichtpunktabhängiges Schlussfolgern versagen am härtesten —, wo die Ground Truth keine bestimmte laterale oder vertikale Relation spezifiziert, behaupten 90.0% und 73.3% der Modelle dennoch eine, nur 43.3% platzieren das Mädchen korrekt in der Tiefe, und kein Modell löst alle drei Dimensionen eines einzelnen Items. Versagen kaskadieren auch: eine falsch gegründete Figur wird dann mit einer flüssigen Begründung aus naher visueller Semantik (Schmetterlinge, Vögel) gerechtfertigt, was das im Tutoring gefährlichste Ergebnis ist, weil die Erklärung als kompetent liest. Für bildbasiertes Sprachenlernen argumentiert das für dimensionsniveau Validierung an der Bildsprache, die ein Kurs tatsächlich nutzt, statt einen allgemeinen multimodalen Score zu importieren, und für die Ausweitung des unten beschriebenen Grounding-Checkpoints — beschreiben, was gesehen wird, und wo, bevor daraus geschlossen wird —, auf situierte künstlerische Inhalte (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).

Die praktische Designimplikation ist ein visueller Grounding-Checkpoint in multimodalem Tutoring: ein bewusster Schritt, wo das System beschreibt, was es sieht, bevor es eine Lösung versucht, was der oder dem Studierenden oder einer menschlichen Aufsicht die Chance gibt, Wahrnehmungsfehler zu korrigieren.(Multimodal Dialogue in STEM Education)

Abreu et al. (2026) fügen eine vorgelagerte Bedingung hinzu: eine Gleichung, ein Graph oder eine Einheit kann in einem Bericht erscheinen und dennoch nie aus dem verarbeiteten Dokument abgerufen werden, sodass eine Uneinigkeit mit der Lehrperson ein Extraktionsversagen statt ein Schlussfolgerungsversagen sein kann —, was das Einreichungsformat Teil des Assessmentdesigns macht.

3. Multimodales Assessment und Messung

Multimodale KI verbreitert sowohl den Inhalt von Assessment als auch das Signal, das zur Benotung genutzt wird.

  • Multimodale Feedbacksysteme integrieren strukturierten Text, Foliereferenzen und Streaming-Audioerzählung. In einer Studie erreichte KI-multimodales Feedback Lehrendenfeedback beim Lernen und übertraf es bei den Wahrnehmungen der Studierenden signifikant.(LLM-based Multimodal Feedback Produces Equivalent Learning and Better Student Perceptions than Educator Feedback)
  • Multimodale Item-Response-Schätzung nutzt feinabgestimmte multimodale LLMs, um Itemcharakteristik-Kurven (IRT / 3PL) direkt aus vorhergesagten Antwortwahrscheinlichkeiten auf Bild-und-Text-Items zu rekonstruieren, was multimodale KI mit Bildungsmessung und Item-Response-Theorie verbindet.(Multimodal Item Parameter Estimation using Simulated Response Probabilities)
  • Evaluation bildungssprachlicher Vision-Language-Modelle und multimodale LLM-Kompetenz erweitern das Evaluationstoolkit des Feldes auf multimodales Schlussfolgern und Visualisierung.(The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors)(Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy)
  • Multimodale Benotung händischer Chemie exponiert eine formatabhängige Fähigkeitsgrenze: Cvengros & Kortemeyer benoteten eine 296-Studierende-Abschlussklausur in Allgemeiner Chemie Seite für Seite gegen Rubrikbilder mit einem multimodalen, schlussfolgernden LLM und erzielten bei textlichen Antworten und chemischen Reaktionsgleichungen verlässliche Ergebnisse (höchstes normiertes F1), aber bei Zeichnungen und Graphen schlechter als zufällig — Hintergrundraster lenken KI-Vision visuell ab und wissenschaftliche Diagramme/chemische Strukturen bleiben schwer zu interpretieren —, was verstärkt, dass die Vision multimodaler KI nicht robust gegenüber repräsentationslastiger Arbeit ist und am besten mit menschlichem Zurückstellen grafischer Items eingesetzt wird (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).
  • Konstrukterkennung und vergleichendes Urteil sind trennbare Fähigkeiten. Ma et al. (2026) drücken sechs Multimedia-Lernprinzipien als reversible Folienedits plus visuelle-Äquivalenz-Sham-Kontrollen aus und finden, dass beide Modelle jede Operation, jedes Prinzip und jede Reparatur wiederherstellten (8/8), während die Schwerekalibrierung vollständig versagte (0/8) —, ein Kompositscore würde verbergen, welche Schicht versagt.
  • Fairnessgewinne können in Existenz validiert werden. Ein multimodaler Aufmerksamkeitsschätzer besiegte eine rein visuelle Baseline nur mäßig, und sein geschlechtertargetierter MAE-Lücken-Regularisierer schnitt die Validierungslücke von 0.02 auf 0.005, erhöhte aber die Lücke und den Worst-Group-Fehler auf zurückgehaltenen Subjekten —, sodass subgruppenbewusste, wiederholte Subjektebenen-Validierung vor Deployment erforderlich ist (Fragkiadakis et al. (2026)).
  • Multimodale Benotung kann ein Selektionsergebnis reproduzieren, selbst wo Itembenotung nachhinkt. Beim Benoten von 10.364 händischen Olympiade- und Universitätsseiten erreichte ein LLM Prüfgesamtwerte bei r = 0.93–0.96 und platzierte dieselben fünf Studierenden auf das Olympiadeteam, doch erreichte die Teileübereinstimmung 70%: Zweitleser-Beweis, nicht ein Benotender vom Dienst (Pathak et al. (2026)).
  • Diagrammgenerierung ist eine Fähigkeitsgrenze, keine gelöste. Auf einem 15.246-Fragen-Physik-Benchmark, der multimodalen Output benotet, erwies sich das Synthetisieren oder Editieren strukturierter Physikdiagramme als schwerer als das Antworten, und führende Modelle blieben unter 70% strikter Meisterschaft —, ein Beleg, dass visuelle Produktion hinter visuellem Verstehen zurückbleibt (Chen et al., 2026).

Multimodale KI für Sprach- und zugängliches Lernen

Multimodale Systeme erweitern auch Zugang und Personalisierung. KI-gelenkte Audio-Videolernwerkzeuge passen Wiedergabegeschwindigkeit an, produzieren multimodale Videozusammenfassungen und stützen Ausspracheübung.(AI-Guided Learning: Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques) Multimodale Wissensgraphen schlussfolgern über Bilder und Text für Bildungsaufgaben,(Evidence-Grounded Multimodal Knowledge Graph Construction for Multi-Lecture Educational Reasoning) und multimodale Repräsentationen verbessern inklusives Lernen, indem sie Informationen über Modi hinweg übersetzen (z. B. Text zu Audio oder Visuellem). Domänenanwendungen umfassen Benotung und Diagnose händischer Mathematik,(Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work) affektives Tutoring mit multimodalen Signalen,(An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training)(MathBuddy: Affective Math Tutoring) Text-zu-Bild-Lernen in spezialisierten Fächern,(NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts) und datenschutzbewusstes multimodales Klassenzimmer-Sensing.(Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition) Bird (2026) demonstriert eine textinterne Form von Multimodalität: einen feinabgestimmten ELECTRA-Transformer mit computational-linguistics-Merkmalsanalyse zu fusionieren, um englische Literatur nach UK Key Stage zu klassifizieren, wo das fusionierte Modell (F1 0.996) jede unimodale Baseline weit übertraf —, ein Beleg, dass das Kombinieren von Repräsentationsformen, selbst innerhalb von Text, Einzelmodellansätze übertreffen kann.

Herausforderungen und Designimplikationen

  1. Die multimodale Lücke schließen. Multimodale Tutoringsysteme sollten visuelles Grounding und strukturierte-Dialog-Gerüste einschließen, statt anzunehmen, Visionfähigkeiten seien robust.(Multimodal Dialogue in STEM Education)
  2. Multimodales Prompting als lehrbare Fähigkeit behandeln. KI-Kompetenz-Curricula müssen modalitätsspezifisches Prompten, Kohärenz über Modi hinweg und kritische Evaluation multimodaler Outputs adressieren.(Students' multimodal prompting practices as epistemic work in AI literacy development)
  3. Menschliche Sinnstiftung bewahren. Multimodale KI sollte die eigene Konstruktion und Evaluation von Bedeutung über Modi hinweg erweitern, nicht ersetzen.(Multimodal Learning with Generative AI)
  4. Evaluation auf multimodale Validität ausweiten. Assessmentvalidität, Bias und Verlässlichkeit müssen untersucht werden, wenn KI multimodale Artefakte benotet oder generiert.(Multimodal Item Parameter Estimation using Simulated Response Probabilities)(Evaluation von KI in der Bildung)
  5. Gerechtigkeit und Datenschutz beobachten. Unzuverlässige Unterstützung bei bildreichen Problemen und die Datenanforderungen multimodalen Sensings tragen beide Gerechtigkeits- und Datenschutzimplikationen.(Multimodal Dialogue in STEM Education)(Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition)
  6. Die Pipeline auf den Inhalt abstimmen. Das multimodale LLM eines Cybersecurity-Labassistenten handhabte dichte visuelle Folien besser, während eine OCR-plus-LLM-Pipeline auf textzentrierten Folien vergleichbaren instruktionalen Wert bei signifikant geringeren Rechenkosten lieferte.(Patel et al. (2025))

Verbundene Konzepte

Verbundene Artikel

Verknüpfte Ressourcen

  • DrawSplat
    Eine kostenlose Browser-Plattform kleiner Lehrwerkzeuge: Whiteboard, Tabellen, Folien, Dokumente, Listen, Concept Maps, Quiz, Diagramme, Bilder und Video.

Diese Seite einbetten

Kopieren Sie den Code unten, um diese Seite in ein Lernmanagementsystem oder eine andere Website einzubetten. Die eingebettete Version zeigt nur den Seiteninhalt — Kopfzeile, Navigation und Fußzeile der Website werden ausgeblendet.