AIEd Bilgi TabanıAIEd KB
Bu sayfada

Bu sayfayı İngilizce okuyun

Kavramlar

Çok Kipli YZ

Oluşturuldu 2026-10-14

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Çok kipli YZ — birden fazla kipte içerik işleyen, anlayan ya da üreten YZ sistemleri: metin, görüntü, ses, video ve yapılandırılmış veri — ve bu sistemlerin ortaya çıkardığı eğitimsel sorular. Eğitimde Yapay Zeka bağlamında çok kipli YZ üç ayrı rolde görünür: öğrenenlerin oluşturup etkileşime girdiği öğrenme içeriği olarak (çok kipli öğrenme), diyagramları ve grafikleri yorumlamak zorunda olan öğretim sistemlerinin yetkinlik sınırı olarak (çok kipli öğretim) ve anlayışı değerlendirmek için kullanılan değerlendirme sinyali olarak (çok kipli ölçüm).

Dikkate Alınması Gereken Sorular

  • Sözcüklerle açıklamakta hiç zorlandığınız bir grafik, kuvvet diyagramı ya da şema düşünün. Bu deneyim, görüntü açısından zengin problemlerde yardım etmeye çalışan yalnızca metin tabanlı bir YZ eğitmeninin sınırları hakkında ne düşündürüyor?
  • Bir fizik eğitmeni metin tabanlı problemlere ~%96 zamanında yanıt veriyor ama anlamı diyagramlara gömmüş problemlerde ~%74’e düşüyor. Okumadan önce, bu 'çok kipli girişimin' nedenini ne olduğunu düşünüyorsunuz — ve modeli yeniden eğitmeyi gerektirmeyen bir çözüm düşünebiliyor musunuz?
  • Muhtemelen YZ araçlarıyla hem metin hem görüntü ürettiniz. 'görüntü için istek istemenin' metin için istek istemekten farklı olduğunu buldunuz mu? Öğrencilerin soyut bir fikri kesin bir görsel istek metnine çevirmek için hangi becerilere ihtiyacı olabilir?
  • Çok kipli YZ kompozisyon puanlayabilir, sesli anlatımla geri bildirim üretebilir ve hatta sınav maddesi istatistiklerini görüntü ve metin maddelerinden yeniden kurabilir. Metin tekliğinden çok kipli değerlendirme sinyaline geçiş, adillik ve geçerlilik için neyi sinyalliyor (ya da riske atıyor)?
  • YZ desteğinin, derin STEM anlayışını inşa eden tam da diyagram ağırlıklı problemlerde daha az güvenilir olması gerçeği, öğrenenler arasında nasıl bir eşitlik boşluğu yaratabilir? En çok kim etkilenir?
  • Çok kipli sistemler metni sese ya da görselleri kapsayıcı öğrenmeyi destekleyecek şekilde çevirebilir, ama aynı zamanda sınıfta ayrıntılı algılamayı da mümkün kılar. Yararlı çok kipli erişim ile gözetim arasındaki çizgi nerede?

Giriş

YZ’de çok kiplilik, yalnızca metin yerine farklı temsil biçimleri üzerinde çalışma kapasitesini ifade eder. Modern Üretici YZ ve Büyük Dil Modelleri (LLM) sistemleri giderek artan ölçüde metne ek olarak görüntü, ses ve video kabul eder ve üretir, eğitim için yeni olanaklar ve yeni riskler açıyor. Anlamın kipler arasında — yalnızca sözcüklerde değil — yapıldığını ileri süren sosyal göstergebilimsel teoriye dayanarak, çok kipli YZ, öğretimin, öğrenmenin ve değerlendirmenin nasıl tasarlandığını ve değerlendirildiğini değiştirir.(Multimodal Learning with Generative AI)

Eğitimde çok kipli YZ’nin üç yüzü

1. Çok kipli öğrenme ve içerik üretimi

Çok kipli YZ, öğrenenlerin metin, görüntü, ses ve video üzerinde içerik üretmesini ve etkileşime girmesini sağlar. Üretken YZ ile çok kipli öğrenmeye dair bir eğitimci rehberi bu araçları "siber-sosyal" bir ortak olarak konumlandırır: insan anlam yapımını tamamlar — ama yerini alamaz.(Multimodal Learning with Generative AI)

  • Çok kipli bağlamlarda YZ okuryazarlığı katmanlıdır: çok kipli platformların temel farkındalığı, çıktıların orta düzey eş-yaratımı ve eleştirel değerlendirmesi ile çok kipli etkinlik ve değerlendirmelerin ileri düzey tasarımı.(Multimodal Learning with Generative AI)
  • Çok kipli istek isteme kendisi zorlayıcı bir bilgilsel uygulamadır. Görüntü kadar metin için de istek isteyen öğrenciler, "istek metni okuryazarlığının metin için istek istemek ile görüntü için istek istemek arasında farklı olduğunu" keşfeder — soyut anlamı makine tarafından okunabilir çok kipli istek metinlerine çevirmek, kesin bir görsel sözcük dağarcığı gerektirir ve sistem sınırlarını ve önyargısını açığa çıkarır.(Students' multimodal prompting practices as epistemic work in AI literacy development)
  • Çok kipli değerlendirme, metin, görüntü, ses ve videoyu birleştiren eserden kompozisyonlara kayar; eğitimciler YZ’yi öğrenenin kendi üretiminin yerini almak yerine üretimi ve geri bildirimi iskelemek için kullanır.(Multimodal Learning with Generative AI)
  • Eleştirel düşünme iskelesi olarak öğrenen çok kipli besteleme bir ödünleşim taşır. Lu ve ark. (2027), üst ilkokul öğrencilerinin yazılı anlatıları YZ üretimi görüntülere ve kısa videolara dönüştürmesinin yorumlama, analiz, değerlendirme ve açıklamada sürdürülebilir kazanımları desteklediğini ama çıkarımı desteklemediğini gösterir — görseller öykü anlamını açık hale getirdiğinden, öğrencilerin yalnızca metinden örtük anlam çıkarma ihtiyacının azaldığını bildirdi; akran iş birliği, çok kipli araç değil, çıkarım fırsatlarını geri getirdi. Çok kipli YZ’nin anlam yapımı ortağı olarak değeri böylece boyuta özgüdür ve dışsallaştırmanın kısa devre yaptığı çıkarımsal ve öz-düzenleyici işi kasten yeniden tanıtan öğretim tasarımına bağlıdır.
  • Eleştirel YZ okuryazarlığı olarak öğrenen çok kipli bestesi. Burriss ve ark. (2026), 22 on birinci sınıf öğrencisinin kendi seçtikleri YZ Etik konuları üzerine 90 saniyeden 3 dakikaya kadar video kamu hizmet duyurularını — okul düzenlemeli dizüstü bilgisayarlar ve elektronik "geçiş belgeleri" üzerinden gözetim, bilgilendirilmiş onay ve cezalandırıcı algoritmik suçlama — hareketli görüntü, ses, metin ve öğrencilerin kendi bedenleri arasında besteleyerek gerçekleştirilen eleştirel YZ okuryazarlığı olarak analiz eder. Yedi filmin tamamında zarar, araçtan tek başına değil insan–makine dolaşımından doğar biçiminde betimlendi (insanlaştırılmış bir "YZ takipçisi", yedide üçünde bir insan aktör tarafından canlandırıldı) ve birim sonu yanıtlarının 18’inden 15’i, bestelemenin YZ etiği anlayışlarını değiştirdiğini söyledi. Yazarlar, çok kipli ürünlerin eleştirel yetkinliği hem gösterdiğini hem ilettiğini savunur — üretken eserler, yansımalar ve yurttaş söylemi, yalnızca metin okuryazarlığının yapısal olarak kaçırdığı Değerlendirme kanıtı olarak hizmet edebilir.

2. Çok kipli öğretim ve yetkinlik sınırı

YZ tabanlı eğitmenlerin anlamı grafiklere, kuvvet diyagramlarına, şemalara ya da tablolara gömmüş problemleri çözmesi gerektiğinde, doğrulukları keskin şekilde bozulur — Çok Kipli Girişim Etkisi.(Multimodal Dialogue in STEM Education)

  • OpenStax fizik problemlerinde, yalnızca metin doğruluğu %96’dan görüntü açısından zengin problemlerde **%74’e** düşer, model aileleri arasında tutarlı olarak.(Multimodal Dialogue in STEM Education)
  • Görsel İşleme Hataları — grafiklerden ya da diyagramlardan bilgi çıkarmada başarısızlıklar — hata taksonomisinde baskındır ve en düzeltilebilir başarısızlık biçimidir.
  • Basit bir yapılandırılmış diyalog müdahalesi (modelden gördüğünü tanımlamasını, fiziki vermeden yalnızca gözlemlenebilir hatalı okumaları düzeltmesini, sonra yeniden istek istemesini) doğruluğu ~%95e geri getirir, sıfır yeniden eğitimle.(Multimodal Dialogue in STEM Education)
  • Bu bir eşitlik kaygısıdır: görüntü açısından zengin problemler üzerinde çalışan öğrenciler — STEM’de derin kavramsal anlayışı inşa eden tam da problemler — şu anda yalnızca metin alıştırmaları üzerinde çalışanlardan daha az güvenilir YZ desteği alır.
  • Bir görsel yardım kurmak, birini okumaktan daha zordur. GeoVAD-Bench’te, uzman bir yardımcı diyagram sağlamak doğruluğu yükseltti (+3,3 ila +7,0 puan), ama modellerin kendi yardımcı çizgilerini kurmasına izin vermek boşluğu 10,0 ila 13,5 puan genişletti — iki model hiç görsel akıl yürütme olmadan kinden daha kötü puan aldı (Dong ve ark., 2026).
  • Sınır bir düzey değil bir profildir — ve sanatsal imgeler, modellerin iyi ele aldığı bölgenin dışında yer alır. MUSE (Zhu ve ark., 2026), 30 açık ve tescilli VLM’yi 1,174 sipariş edilen sanat eseri üzerinde 12 görevde değerlendirir ve boyutlar arasındaki yetkinlik yayılımı herhangi bir toplu puanın düşündürdüğünden daha geniştir: sahne sınıflandırma neredeyse olgundur (30 modelden 23’ü 75,0 üzerinde, medyan 81,0), oysa duygu tespiti en fazla 39,5’te durur ve modellerden kanıtlarını ifade etmelerini gerektiren açık uçlu görevler anlamsal benzerlikte 50,90 (görsel ipucu belirleme) ve 49,18 (duygu nedeni çıkarımı) puan alır. Bileşimsel ve bakış açısına bağlı akıl yürütme en çok başarısız olur — yer gerçeğinin belirli bir yan ya da dikey ilişki belirtmediği yerlerde, modellerin %90,0’ı ve %73,3’ü yine de bir tane iddia eder, yalnızca %43,3’ü kızı derinlikte doğru yerleştirir ve hiçbir model tek bir maddenin üç boyutunun tamamını çözmez. Başarısızlıklar ayrıca çağlayan biçimde ilerler: yanlış temellendirilmiş bir karakter, yakındaki görsel anlambilimden (kelebekler, kuşlar) kurulmuş akıcı bir gerekçeyle haklı çıkarılır — bu, açıklama yetkin okunduğundan öğretimde en tehlikeli sonuçtur. Görüntü tabanlı dil öğrenimi için bu, kursun gerçekten kullandığı imgeler üzerinde genel bir çok kipli puanı ithal etmek yerine boyut düzeyinde doğrulama ve aşağıda tanımlanan temellendirme denetim noktasını — görüleni ve nerede olduğunu tanımlamayı, ondan akıl yürütmeden önce — bağlamsal sanatsal içeriğe uzatmayı savunur (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).

Pratik tasarım çıkarımı, çok kipli öğretimde bir görsel temellendirme denetim noktasıdır: çözüm denemeden önce sistemin gördüğünü tanımladığı, öğrenciye ya da bir insan gözetmenine algısal hataları düzeltme şansı veren bilinçli bir adım.(Multimodal Dialogue in STEM Education)

Abreu ve ark. (2026) önsel bir kısıt ekler: bir denklem, grafik ya da birim bir raporda görünebilir ama işlenen belgeden asla geri getirilmeyebilir, öyleyse öğretmenle bir anlaşmazlık, akıl yürütme değil çıkarma başarısızlığı olabilir — bu da teslim biçimini değerlendirme tasarımının bir parçası kılar.

3. Çok kipli değerlendirme ve ölçüm

Çok kipli YZ hem değerlendirmenin içeriğini hem de onu puanlamak için kullanılan sinyali genişletir.

  • Çok kipli geri bildirim sistemleri, yapılandırılmış metni, slayt referanslarını ve akan sesli anlatımı bütünleştirir. Bir çalışmada, YZ çok kipli geri bildirimi, öğrenme için eğitimci geri bildirimiyle eşleşti ama öğrenci algılarında onu anlamlı ölçüde geride bıraktı.(LLM-based Multimodal Feedback Produces Equivalent Learning and Better Student Perceptions than Educator Feedback)

  • Çok kipli madde yanıt tahmini, ince ayarlı çok kipli YZ’leri kullanarak madde karakteristik eğrilerini (IRT / 3PL) doğrudan görüntü ve metin maddelerindeki tahmin edilen seçenek olasılıklarından yeniden kurar, çok kipli YZ’yi Eğitimde Ölçme ve Madde Tepki Kuramı bağlar.(Multimodal Item Parameter Estimation using Simulated Response Probabilities)

  • Eğitimsel görsel-dil modeli değerlendirmesi ve çok kipli YZ okuryazarlığı, alanın değerlendirme araç setini çok kipli akıl yürütme ve Görselleştirme uzatır.(The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors)(Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy)

  • El yazımı kimyanın çok kipli puanlaması, biçime bağlı bir yetkinlik sınırını açığa çıkarır: Cvengros & Kortemeyer, 296 öğrencinin el yazımı genel kimya finalini çok kipli, akıl yürütmeli bir YZ ile rubrik görüntülerine karşı sayfa sayfa puanladı, metinsel yanıtları ve kimyasal reaksiyon denklemlerini güvenilir şekilde puanladı (normelenmiş F1 en yüksek) ama çizim ve grafik çizmeyi rastgeleden kötü puanladı — arka plan ızgaraları YZ görüşünü görsel olarak dağıtır ve bilimsel diyagramlar/kiyasal yapılar yorumlanması zor kalır — bu, çok kipli YZ’nin görüşünün temsil ağırlıklı işe dayanıklı olmadığını pekiştirir ve grafiksel maddelerin insan feragati ile en iyi devreye alındığını gösterir (Assisting the grading of a handwritten general chemistry exam with artificial intelligence).

  • Yapı tanıma ve karşılaştırmalı yargı ayrılabilir becerilerdir. Ma ve ark. (2026), altı multimedya öğrenme ilkesini tersine çevrilebilir slayt düzenlemeleri artı görsel eşdeğerlik sahte kontrolleri olarak ifade eder ve her iki modelin de her işlemi, ilkeyi ve onarımı kurtardığını (8/8) bulurken şiddet kalibrasyonunun tamamen başarısız olduğunu (0/8) görür — bileşik bir puan hangi katmanın başarısız olduğunu gizlerdi.

  • Adillik kazanımları varlığına doğrulanabilir. Çok kipli bir dikkat tahmincisi yalnızca görsel temel çizgiyi mütevazı ölçüde yendi ve cinsiyete yönelik MAE-boşluğu düzenleyicisi doğrulama boşluğunu 0,02’den 0,005’e kesti ama elde tutulan deneklerde boşluğu ve en kötü grup hatasını artırdı — öyleyse devreye almadan önce alt grup farkında, yinelenen denek düzeyinde doğrulama gereklidir (Fragkiadakis ve ark. (2026)).

  • Çok kipli puanlama, madde düzeyinde puanlama geri kaldığı yerlerde bile bir seçim sonucunu yeniden üretebilir. 10.364 el yazımı Olimpiyat ve üniversite sayfasını puanlayan bir YZ, sınav görevlisi toplamlarıyla r = 0,93–0,96 ile eşleşti ve aynı beş öğrenciyi Olimpiyat takımına yerleştirdi, oysa parça uyumu %70’e ulaştı: ikinci okuyucu kanıtı, kayıtlı bir puanlayıcı değil (Pathak ve ark. (2026)).

  • Diyagram üretimi çözülmüş değil bir yetkinlik sınırıdır. Çok kipli çıktıyı puanlayan 15.246 soruluk bir fizik kıyaslamasında, yapılandırılmış fizik diyagramlarını sentezlemek ya da düzenlemek yanıtlamaktan daha zor oldu ve öncül modeller katı ustalığın %70’inin altında kaldı — görsel üretimin görsel anlamanın gerisinde kaldığına dair kanıt (Chen ve ark., 2026).

Dil ve erişilebilir öğrenme için çok kipli YZ

Çok kipli sistemler ayrıca erişimi ve kişiselleştirmeyi genişletir. YZ rehberliğinde ses-video öğrenme araçları oynatma hızını uyarlar, çok kipli video özetleri üretir ve telaffuz alıştırmasını destekler.(AI-Guided Learning: Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques) Çok kipli bilgi grafikleri, görüntüler ve metin arasında eğitimsel görevler için akıl yürütür,(Evidence-Grounded Multimodal Knowledge Graph Construction for Multi-Lecture Educational Reasoning) ve çok kipli temsiller, bilgiyi kipler arasında çevirerek (örneğin metinden sese ya da görsele) Kapsayıcı Öğrenme iyileştirir. Alan uygulamaları arasında el yazımı matematik puanlama ve teşhisi,(Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work) çok kipli sinyallerle duygu temelli öğretim,(An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training)(MathBuddy: Affective Math Tutoring) uzmanlaşmış alanlarda metinden görüntüye öğrenme(NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts) ve mahremiyet farkında çok kipli sınıf algılaması(Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition) yer alır. Bird (2026), çok kipliliğin metin içi bir biçimini gösterir: ince ayarlı bir ELECTRA transformer’ı hesaplamalı dilbilim özellik analiziyle kaynaştırarak İngiliz edebiyatını İngiltere Anahtar Aşamasına göre sınıflandırır; burada kaynaştırılmış model (F1 0,996) her tek kipli temel çizgiyi çok geride bıraktı — temsil biçimlerini birleştirmenin, hatta metin içinde bile, tek modelli yaklaşımları geride bırakabileceğine dair kanıt.

Zorluklar ve tasarım çıkarımları

  1. Çok kipli boşluğu kapatın. Çok kipli öğretim sistemleri, görüş yeteneklerinin dayanıklı olduğunu varsaymak yerine görsel temellendirme ve yapılandırılmış diyalog iskeleleri içermelidir.(Multimodal Dialogue in STEM Education)
  2. Çok kipli istek istemeyi öğretilebilir bir beceri olarak ele alın. YZ okuryazarlığı müfredatları, kipe özgü istek istemeyi, kipler arası tutarlılığı ve çok kipli çıktıların eleştirel değerlendirmesini ele almalıdır.(Students' multimodal prompting practices as epistemic work in AI literacy development)
  3. İnsan anlam yapımını koruyun. Çok kipli YZ, öğrenenin kipler arasında kendi anlam yapımını ve değerlendirmesini büyütmeli, yerini almamalıdır.(Multimodal Learning with Generative AI)
  4. Değerlendirmeyi çok kipli geçerliliğe uzatın. Değerlendirme geçerliliği, önyargı ve güvenilirlik, YZ çok kipli eserleri puanladığında ya da ürettiğinde incelenmelidir.(Multimodal Item Parameter Estimation using Simulated Response Probabilities)(AIEd Değerlendirmesi)
  5. Eşitlik ve mahremiyeti izleyin. Görüntü açısından zengin problemlerde güvenilmez destek ve çok kipli algılamanın veri talepleri eşitlik ve mahremiyet çıkarımları taşır.(Multimodal Dialogue in STEM Education)(Robust and Efficient Motion Reasoning for Privacy-Aware Classroom Incident Recognition)
  6. Boru hattını içeriğe eşleyin. Bir siber güvenlik laboratuvarı asistanının çok kipli YZ’si yoğun görsel slaytlara daha iyi hükmetti, oysa OCR-artı-YZ boru hattı metin merkezli slaytlarda karşılaştırılabilir öğretim değerini anlamlı ölçüde daha düşük hesaplama maliyetiyle sundu.(Patel ve ark. (2025))

Bağlı kavramlar

Bağlı makaleler

Bağlı kaynaklar

  • DrawSplat
    Öğretim için küçük araçlardan oluşan ücretsiz bir tarayıcı platformu: beyaz tahta, hesap tabloları, slaytlar, belgeler, listeler, kavram haritaları, sınavlar, grafikler, görüntüler ve video.

Üst veri

DisiplinStem Education
SeviyeHigher Ed
Teknolojiler ve tekniklerÜretici YZ, Akıllı Özel Öğretim, Büyük Dil Modelleri (LLM), Çok Kipli YZ
Değerlendirme ve ölçmeDeğerlendirme, Eğitimde Ölçme
Eğitimde YZ’nin temelleriEğitimde Yapay Zeka, YZ Okuryazarlığı
SourceHistoryEditChat

Bu sayfayı göm

Bu sayfayı bir öğrenme yönetim sistemine veya başka bir web sitesine gömmek için aşağıdaki kodu kopyalayın. Gömülü sürüm yalnızca sayfa içeriğini gösterir — site başlığını, gezintiyi ve alt bilgiyi gizler.