AIEd Bilgi TabanıAIEd KB
Bu sayfada

Bu sayfayı İngilizce okuyun

Kavramlar

AIED’de Araştırma Yöntemleri

Oluşturuldu 2026-10-14

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

AIED’de araştırma yöntemleri — araştırmacıların eğitimde YZ’yi incelemek için kullandıkları ampirik tasarım, veri toplama stratejisi ve analitik teknik kümesi: YZ araçlarının öğrenmeyi destekleyip desteklemediği (ya da zarar verip vermediği) ve hangi koşullarda desteklediği. Bilgi tabanının derlemi deneysel, anket, nitel, tasarıma dayalı, hesaplamalı-kıyaslama ve inceleme yöntemlerini kapsar. Her birinin kendine özgü güçlü ve sınırlı yanları vardır ve aralarında seçim yapmak; iç geçerlilik (nedensel iddialara duyulan güven), dış geçerlilik (genellenebilirlik), ekolojik geçerlilik (gerçek dünya özgünlüğü) ve hızla değişen YZ araçlarını incelemenin uygulanabilirliği arasındaki ödünleşimleri içerir.

Üzerinde Düşünülmesi Gereken Sorular

  • Sayfanın merkezî gerilimi: nedensel çıkarım için en güçlü tasarımlar (rastgele deneyler) gerçek sınıflarda yürütülmesi en zor olanlardır, buna karşılık en özgün ortamlar daha zayıf nedensel denetim sunar. Bir YZ öğretmeninin öğrenmeye yardım edip etmediğine karar vermek zorunda kalsaydınız, bu iki başarısızlıktan hangisiyle yaşamayı tercih ederdiniz — ve neden?
  • Okumadan önce, iç geçerlilik, dış geçerlilik ve ekolojik geçerlilik arasındaki farkı adlandırabiliyor musunuz? Sayfa, her tasarımın bunları ödünleştirdiğini savunuyor. Titiz biçimde nedensel olan bir çalışma, gerçek bir sınıf hakkında size neden neredeyse hiçbir yararlı şey söylemeyebilir?
  • Bir kıyaslama, bir YZ’nin doğrulukta yüksek puan aldığını gösterir, ancak sayfa, yüksek kıyaslama doğruluğunun eğitim etkililiğini gerektirmediğinde ısrar eder. "Testi geçen" bir sistem neden öğrencilerin öğrenmesine yardım etmekte başarısız olabilir — ve eksik olan kanıt hangi türdendir?
  • Tasarıma dayalı araştırma, gerçek bir müdahale üzerinde yineler ancak kazanımları belirli bir mekanizmaya atfedemez; buna karşılık bir RCT nedenleri yalıtır ancak yapay koşullarda yürütülür. YZ’nin hızlı değişim hızı göz önüne alındığında, titiz bir RCT’nin test ettiği araç eskiden önce ne kadar süre güncel kaldığını düşünüyorsunuz?
  • Delphi uzlaşısı uzmanlar arasında bir uzlaşı, ampirik bir etki olmadığını ortaya koyar. Uzmanların inandığından mı, işe yarayan şeye dair verilerden mi bir yetkinlik çerçevesi kurmak meşrudur — ve pratikte ikisini nasıl ayırt ederdiniz?
  • Sayfa üçgenleştirmeyi savunur — bir aracın işe yarıp yaramadığını ve nasıl işe yaradığını yargılamak için kıyaslama değerlendirmesi, deneyler, ölçüm ve nitel çalışmaları birleştirmeyi. Okumaya başlamadan önce, "bu YZ öğrenmeyi geliştirir" gibi bir iddiada size güven vermesi için her yöntem nerede gerekli olurdu?

Giriş

AIED araştırmasındaki merkezî gerilim, nedensel çıkarım için en güçlü tasarımlar olan rastgele deneylerin, özgün YZ araçlarıyla gerçek sınıflarda yürütülmesinin çoğu zaman en zor olması, buna karşılık en özgün ortamların (saha yayılımları, vaka çalışmaları, kayıt verisi analizleri) daha zayıf nedensel denetim sunmasıdır. Tek bir yöntem bunu çözmez; alan, yöntemler arasında üçgenleştirerek ve her tasarımın hangi türde iddiayı destekleyebileceğini açıkça belirterek ilerler. Her yöntem ayrıca okuyucuların tartmak zorunda olduğu yatay kesen sınırlılıklar taşır — genellenebilirlik, ölçüm geçerliliği, YZ değişiminin hızlı temposu, tekrarlanabilirlik ve zayıf kuram kullanımı; bkz. AIEd Araştırmalarındaki Sınırlılıklar.

Sayfanın konusu bulgular değil yöntemdir. Öğrenme Bilimleri, bu yöntemlerin hizmet ettiği esas alandır: bu sayfa bir çalışmanın nasıl tasarlanması, ölçülmesi ve raporlanması gerektiğini kapsarken, o sayfa alanın insanların nasıl öğrendiğine ve öğrenme ortamlarının nasıl tasarlanması gerektiğine ilişkin neler ortaya koyduğunu kapsar ve tasarıma dayalı ile karma yöntemleri birçok seçenek arasında iki seçenek değil, öğrenme bilimlerinin imza yaklaşımları olarak ele alır.

Bu sayfaya komşu olan YZ Destekli Eğitim Araştırması sayfası, YZ’yi alanın kendi çalışmasının bir aracı olarak ele alır: literatür taraması, tarama, inceleme otomasyonu, nitel kodlama, analiz ve yazma. Kapsamı, öğretme ve öğrenmenin bursu gibi uygulayıcı araştırmalarını içerir ve bu sayfanın betimlediği tasarımlardan ayrı kalır.

Martin, Rost, Koenen ve Graulich (2026) aynı incelemeyi alanın bilgi üretiminin kendisine uygular ve Chang’ın (2004) nomik-ölçüm problemini kullanır: bir niceliği ölçmek, onu gözlemlenebilir bir şeyle ilişkilendiren bir yasa gerektirir; ancak bu yasa, nicelik zaten bilinmeden ampirik olarak test edilemez. Araştırmacıdan değil, eğitim verilerinden ve en iyileştirmeden doğan YZ kaynaklı ölçüm işlevlerinin bunu çözmekten ziyde yoğunlaştırabileceğini savunurlar. Bu tür işlevler kesin görünebilir, ancak epistemik olarak opak kalır; böylece araştırmacının rolü, hesaplamalı çıktıları yorumlamaya ve doğrulamaya kayar. Yedi aşamalı yansıtıcı çerçeveleri (problemin çerçevelenmesi; alet edinim ve ölçüm; deney ve kanıta dayalı çıkarım; karşılaştırmalar ve replikasyon; norm ve uzlaşı inşası; uygulama ve sonuçları; sürekli iyileştirme) doğrulanmış bir yöntem değil, analitik bir yardımcı olarak sunulur ve karşılaştırılabilirliğin, bir modelin iyi başardığı alt kümeler yerine öğrenci nüfusları arasında genişlemesi gerektiğini savunurlar.

Raporlama titizliği ve TEP-AIED modeli

YZ-eğitim çalışmalarının raporlama kalitesi kendisi bir araştırma konusudur. TEP-AIED modeli (Hwang, Xie, Wah ve Gasevic, 2026), eğitimde YZ araştırmasını titizlikle sunmak için yapılandırılmış bir çerçeve sunar; bir çalışma raporunun temel bileşenlerini — kuram/teknoloji/eğitim problemi çerçevelenmesi, tasarım, veri, analiz ve sonuçlar — örgütler; böylece okuyucular ve değerlendirenler iddiaların desteklenip desteklenmediğini ve işin tekrarlanabilir olup olmadığını değerlendirebilir. Raporlamadaki alanın kronik zayıflıklarına (belirsiz araç tanımları, belirtilmemiş model sürümleri, atlanan değerlendirme ayrıntıları) yanıt verir; bunları sınırlılıklar sayfası belgeler. TEP-AIED gibi raporlama çerçeveleri, yerleşik raporlama denetim listelerinin (örneğin deneyler için CONSORT tarzı kılavuz, incelemeler için PRISMA tarzı kılavuz) yanında, alanın yöntemsel şeffaflık ve tekrarlanabilirliğe doğru geniş hareketinin parçası olarak yer alır.

RAISE (Allison, 2026) aynı soruna ters yönden yaklaşır — anlatısal bir yapı yerine denetim listesi olarak. On tematik alanda 30 madde belirler (eğitim gerekçelendirmesi ve kuramsal temel, YZ sistemi özellikleri, YZ rolü ve etkileşimi, Erişilebilirlik ve kültürel uygunluk, ortam ve katılımcılar, insan katılımı, çalışma tasarımı ve değerlendirmesi, etik ve güvenilirlik, şeffaflık ve tekrarlanabilirlik, sınırlılıklar ve çıkarımlar), düzenlenebilir bir sürüm ve öğrenen özerkliği, erişimde eşitlik, veri YZ Yönetişimi ve algoritmik şeffaflığı kapsayan bir eşlikçi Etik ve Risk Matrisi ile birlikte. İki çerçeve birbirini doğrudan ele alır: TEP-AIED, RAISE’ı kapsamlı olarak nitelendirir ancak genişliğini kusur bulur; "genişliği ve ayrıntı düzeyi, onu rutin ampirik uygulamalar için karmaşık ve daha az erişilebilir kılabilir" şeklinde savunur; buna karşılık RAISE’ın kendi çerçevesi, hiçbir yöntem veya modeli zorunlu kılmadığını ve yalnızca seçimlerin görünür kılınmasını gerektirdiğini belirtir. Birlikte okunduğunda bu literatürdeki ödünleşimi işaret ederler — daha eksiksiz denetim listesine karşılık daha sade üç boyutlu anlatı — ve aynı pazarlığı kabul etmez maddeler üzerinde yakınsarlar: YZ sistemini adlandırmak ve sürümlemek, istek metinlerini ve etkileşim tasarımını açıklamak, işlem ve karşılaştırma koşullarını tanımlamak, etik incelemeyi ve risk azaltımını raporlamak ve sonuçların performans, kalıcılık mı aktarım mı ölçtüğünü belirtmek. Bir çalışmanın bu koşullar üzerinden değerlendirilmesi için raporlama aracının tasarım zamanında benimsenmesi, makale aşamasında toparlanması gerektiği anlamına gelir; her iki çerçevenin de üzerinde durduğu nokta budur. Derlem düzeyinde tarihsel analiz, kendisi şeffaflık yükümlülükleri olan bir yöntemsel seçimdir: Rismanchian ve Doroudi, her makaleyi AI×Ed çerçevelerinde özetlerin ve tam metinlerin yazar yargısına dayanarak konumlandırır, bunun sistematik veya ölçeklenebilir veri güdümlü bir sınıflandırma olmadığını açıkça kabul eder ve tam veri kümelerini replikasyon için tamamlayıcı materyal olarak kamuya açık hale getirir.

Deneysel ve yarı-deneysel tasarımlar

Bir etkililik çalışması, bir müdahalenin amaçlanan öğrenme etkisini üretip üretmediğini test eder; tipik olarak sonuçları müdahaleyle ve müdahalesiz karşılaştıran deneysel veya yarı-deneysel tasarımlar kullanır. Deneyler, öğrencileri koşullara rastgele atar (örneğin YZ öğretmeni karşısında insan öğretmen veya YZ iskeleli karşısında desteksiz) ve öğrenme kazanımları, katılım veya motivasyon gibi sonuçlar üzerinde nedensel etkileri tahmin eder. Randomize kontrollü deneyler iç geçerlilik için altın standarttır. İnsan desteği artı YZ öğretmenliğine ilişkin randomize bir saha çalışması ve öğretmede üretken YZ’ye ilişkin bir RCT nedensel etkileri yalıtlamak için atama kullanır. Yarı-deneysel tasarımlar (önçalışma/sonçalışma, özneler arası veya randomizasyon olmadan eşleştirilmiş gruplar) bozulmamış sınıflarda daha uygulanabilirdir, ancak nedensel iddialarda daha zayıftır.

  • Enstrüman doğrulama ve taban çizgisi denetimleri, etki tahmininden önce gelir. Davor (2026), Gana’lı bütün sınıf düzeyi iki lise sınıfını (86 öğrenci, grup başına 43) geometri iskelesi olarak GenAI üzerinden karşılaştırdı; örneklemi bir G*Power analiziyle boyutlandırdı ve çalışmadan önce Geometri Akıl Yürütme ve İspat Testini Spearman-Brown yarım test güvenilirliği 0,859’a pilot etti. Gruplar ön testte anlamlı biçimde farklılık göstermedi ve önceki performansa göre ayarlama yapan bir ANCOVA grup etkisini korudu (F(1, 83) = 50.30, p < ,001, kısmi η² = ,377). Rastgele atama olmaksızın, pilot güvenilirliği ve taban çizgisi eşdeğerlik denetimi, ayarlanmış karşılaştırmayı yorumlanabilir kılan şeydir.
  • Güçlü yanları: en güçlü nedensel çıkarım; net sonuç ölçümü; etki büyüklüğü tahmini ve etkililik iddialarını destekler.
  • Sınırlılıkları: pahalı ve yavaş; yapay koşullar ekolojik geçerliliği azaltabilir; hızla değişen YZ araçları uzun deneyleri çabuk eskitir; küçük örneklemler çoğu zaman anlamlı etkilerin tespitini güçsüz bırakır; potansiyel olarak yararlı araçların esirgenmesine ilişkin etik kısıtlar.
  • Örnekler: Access is Not Enough: Human Support Improves Engagement with AI Tutoring, Generative AI Can Harm Teaching, Do Gains from Generative AI-Enabled Adaptive Pretesting Persist? Evidence from a Retention Study, Exploring How Agent Voice Accents Shape Human-AI Collaboration in K-12 Group Learning, From AI Use to Critical Thinking Among Medical Students: A Moderated Mediation Perspective on Cognitive Load and Self-Regulated Learning.
  • Önkayıt yalnızca deneylere değil, ikincil analizlere de uygulanır. Srivastava (2026), ipuçlu satırları nasıl puanladıkları bakımından yalnızca farklılaşan dört Bilgi İzleme güncelleme kuralını özdeş ASSISTments kayıtları (12.716 öğrenci, 985.813 puanlanmış olay) üzerinde çalıştırdı; doğrulayıcı yarıyı, kaydın URL’sini içeren bir dosya oluşana kadar mühürlü tuttu ve dört önkayıtlı tahminin tamamının tuttuğunu bildirdi. Herhangi bir tamamlamayı ödüllendirmek, sonraki yardımsız performansı bir beceri-zorluk sabitinin hemen üzerinde tahmin etti (birleşik AUC 0,604 karşısında 0,595), buna karşılık katı bir kurala göre %72,8 olana karşılık öğrenci–beceri çiftlerinin %93,9’unu öğrenildi olarak bildirdi. Bir kayıt birkaç sonucu desteklediğinde, analizi önceden sabitlemek karşılaştırmayı güvenilir kılan şeydir.

Anket ve yapısal eşitlik modelleme çalışmaları

Yatay kesitli anketler, öz bildirilen tutumları, algıları, motivasyonu, Öz Yeterlilik ve teknoloji kabulünü ölçer; çoğu zaman hipotez ilişkilerini ve aracıları test etmek için regresyon veya yapısal eşitlik modellemesiyle (SEM/PLS-SEM) modellenir. Bunlar bilgi tabanının derlemini domine eder; özellikle kabul, motivasyon ve psikolojik mekanizma soruları için.

  • Güçlü yanları: büyük örneklemler; geniş, düşük maliyetli kapsama; psikolojik mekanizmaların karmaşık aracılı modellerini test edebilir; gözlemlenmesi zor tutumları incelemek için uygulanabilir.
  • Sınırlılıkları: yatay kesitli veriler nedensellik kuramaz; ortak yöntem/özbildirim yanlılığı; uygunluk örneklemesi genellenebilirliği sınırlar; aracılar manipülasyondan değil kovaryanstan çıkarılır.

Enstrümanın kendisi ayrı inceleme hak eder. Bir anketin, görüşmenin veya günlüğün ne ortaya koyabileceği ve ne koyamayacağı — ve insanların bildirdiği ile yaptıkları arasındaki belgelenmiş uçurum — Öz Bildirim Ölçütleri üzerinde toplanmıştır.

Nitel yöntemler

Görüşmeler, odak grupları ve tematik analiz; öğrencilerin ve öğretmenlerin YZ araçlarını nasıl deneyimlediğine, bunlara yükledikleri anlamlara ve standartlaştırılmış ölçümlerin gözden kaçırdığı gerilim ve zararlara ilişkin zengin, bağlamsal anlatılar üretir. YZ öğretmeni güvenliğine ilişkin araştırma ve YZ’nin öğretme iş akışlarını nasıl değiştirdiği ağırlıklı olarak nitel kanıta dayanır. Nitel yaklaşımların tam ele alımı — tematik analiz, temel kuram, fenomenoloji/fenomenografi, söylem analizi, gözlem ve etnografi, vaka çalışmaları ve görüşmeler/odak grupları, her biri bilgi tabanı örnekleriyle — için ayrı Nitel Araştırma kavram sayfasına bakınız.

Karma yöntemli tasarımlar

Karma yöntemli çalışmalar nicel ve nitel akımları birleştirir — çoğu zaman sırayla (örneğin QUAL→QUAN→qual) — böylece nitel veri, nicel bulguları açıklar veya bağlamsallaştırır. GenAI ve sürdürülebilir öğrenmeye ilişkin karma yöntemli bir çalışma üç dalgalı anketleri eğitmen görüşmeleriyle eşler; yetkinlik paradoksu çalışması öğretim elemanı odak gruplarını, öğrenci anketini ve izleyici görüşmeleri kullanır.

Tasarıma dayalı araştırma (DBR)

DBR, bir eğitim müdahalesini özgün bağlamlarda yinelemeli olarak tasarlar, uygular ve inceltir; kuram, tasarım ve gerçek dünya uygulaması arasında döner. Bilgi tabanında YZ öğrenme ortamlarının ve pedagojik modellerin geliştirilmesinde öne çıkar. Tam DBR döngüsü, örnekler ve güçlü/sınırlı yanları için ayrı Tasarım Temelli Araştırma kavram sayfasına bakınız. Kanonik bir AIEd örneği, YZ Destekli İşbirlikçi Öğrenme modeli çalışmasıdır (Putra ve ark.); dört aşamalı bir DBR döngüsü — ihtiyaç analizi, model tasarımı, sekiz haftalık sınıf uygulaması ve model inceliği — yürütmüş ve dört aşamalı bir öğrenme döngüsü üzerinde yinelemiştir (problemin belirlenmesi → YZ destekli işbirlikçi soruşturma → işbirlikçi Problem Çözme → yansıtma ve sunum). Diğer örnekler, YZ Okuryazarlığı öğretmen eğitimi (Development and evaluation of artificial intelligence literacy training for teacher education students) ve eleştirel düşünce için GenAI İskeleleme (Scaffolding) (Scaffolding critical thinking with generative AI: Design principles for integrating large language models in higher) geliştirir.

DBR, deneylerin nedensel denetimini ekolojik özgünlük ve yinelemeli inceltmeyle ödünleştirir: "bu YZ öğrenme ortamını pratikte işleyecek biçimde nasıl tasarlarız?" soruları için doğru araçtır ve kanıtı, nedensel etkililikten çok kavram ispatı ve tasarım kılavuzu olarak en güçlüdür. DBR öğrenme kazanımlarını okumak, diğer tasarımlar gibi aynı temkin gerektirir — yardımsız, denetimli bir sonuç ölçüsü olmadan, kazanımlar öğrenme kazanımları altında belgelenen aynı YZ kaynaklı performans şişmesi kafa karışıklığını yansıtabilir.

Sistematik incelemeler ve meta-analizler

İncelemeler, yeni bir deney yürütmek yerine kanıt tabanını sentezler. Sistematik ve kapsamlı incelemeler, bir çalışma gövdesini aramak, taramak, değerlendirmek ve sentezlemek için şeffaf bir protokol uygular; meta-analizler ayrıca, ağırlıklı bir özet tahmini üretmek ve moderatörleri test etmek için çalışmalar arasında etki büyüklüklerini birleştirir. Kapsamlı bir ITS incelemesi ve yükseköğretimde GenAI’nin sistematik incelemesi yaklaşımı örneklendirir.

Eğitimde YZ’de sistematik inceleme ve meta-analizin daha eksiksiz ele alımı — birincil tasarımlarla ilişkileri, PRISMA raporlaması ve güçlü/sınırlı yanları dâhil — için ayrı Meta-Analiz ve Sistematik Derleme kavram sayfasına bakınız.

Hesaplamalı ve kıyaslama değerlendirmesi

Hesaplamalı değerlendirme, insan öğrenenleri incelemek yerine YZ sistemlerini doğrudan değerlendirir — kıyaslamalara, zemin gerçeği etiketlerine veya insan yargılarına karşı. Bu, kıyaslamaları, Büyük Dil Modelleri (LLM)-hakem yaklaşımlarını içerir. Bu, AIEd Değerlendirmesi’e (aşağıdaki ayrıma bakınız) en yakın yöntemdir.

  • Güçlü yanları: hızlı, ölçeklenebilir, tekrarlanabilir; modellerin ve sistem sürümlerinin birebir karşılaştırmasını olanaklı kılar; sistem geliştirme ve kalite güvencesi için zorunludur.
  • Sınırlılıkları: öğrenmeyi değil, sistem çıktısını ölçer — yüksek kıyaslama doğruluğu eğitim etkililiğini gerektirmez; zemin gerçeği ve rubrik niteliğinin kendisi çelişkilidir; insanların algıladığı pedagojik niteliği gözden kaçırabilir. Rismanchian ve Doroudi, LLM’lerin doğal dil esnekliğinin salt teknik ölçütleri yetersiz kıldığını, öğrenmeyle ilgili niteliği yargılamak için daha önce yalnızca insan özneleri için ayrılmış simüle edilmiş öğrenciler, YZ-öğretmen testleri ve davranış bilimi analizleri gibi insana ilham alan değerlendirme yaklaşımlarını gerektirdiğini savunur ve LLM’leri temkinli biçimde incelemenin insan öğrenmesine ilişkin içgörü üretebileceğini belirtir.
  • Ayrık katılımcılar, rastgele bölmeler değil, dedektör değerlendirmesinde veri kaçağını önler. Kumar ve ark. (2026), her biri bir yardımsız ve bir yinelemeli örnek üreten 90 yazardan stilometrik bir dedektör oluşturdu; bir katılımcıdan gelen her pencerenin tek bir kıvrımda kalmasını sağlayarak yazar stilinin bölme üzerinden sızmamasını temin etti ve 18 kişiyi tümüyle dışarıda tuttu. Rastgele orman, ROC-AUC 0,870’e F1 0,842 ile ulaştı, ancak bağımsız olarak yazılmış 18 belgenin 4’ünü (%22,2) GPT destekli olarak işaretledi; yazarlar bu yanlış pozitif oranı yayılımla ilgili sonucu olarak ele alır ve modeli otomatik bir usulsüzlük taraması değil, karar desteği olarak çerçeveler.
  • Örnekler: TeachBench - Evaluating LLM Teaching Ability, ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents, Modernizing Ground Truth: Four Shifts Toward Improving Reliability and Validity in AI in Education, Confidence Estimation in Automatic Short Answer Grading with LLMs, The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors.
  • Otomatik hatlar için raporlama standartları ve denetlenmiş kıyaslamalar. İki 2026 makalesi yöntemsel hesap verebilirliği çalışmanın ötesine genişletir. PRISMA-LLM, 888 inceleme otomasyonu makalesini ve 14.726 eklemeyi haritalar; yazılım veya ürün makalelerinin %38,0’sinin hiç değerlendirme raporlamadığını, LLM makalelerinin %9,3’ünün ise bunu yaptığını ve yalnızca pozitif olan LLM değerlendirmelerinin %52’sinin yüksek barlı bir kaygıyı karşılamadan bıraktığını bulur; inceleme iş akışının neresinde otomasyonun devreye girdiğini belirleyen bir raporlama önerir (PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews). Altı fizik kıyaslamasının uzman yeniden notlandırma denetimi, sorunu enstrüman düzeyinde aynı biçimde gösterir: denetlenen 250 rettirlemeden yalnızca 12’si (%4,80) gerçek model hatasıyken, 143’ü madde kusuru ve 95’i notlandırıcı hatasıdır (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). Her ikisi, hesaplamalı değerlendirmelerin sonuçları öğrenenler veya modeller hakkında bulgu olarak okunmadan önce denetlenmiş bir hata bütçesine ihtiyaç duyduğunu savunur.
  • İnsan uzlaşısı denetimini dedektör geliştirmeye yerleştirin, sonrasına değil. Baker ve meslektaşları (2026), bilişsel kavramların metinsel dedektörleri için yedi adımlık bir süreç belirler — veri kümesi seçimi, kavram tanımı, kod kitabı taslağı, insan değerlendirici-arası denetim, kategori inceliği, dedektör inşası ve uygulama — böylece insan kodlamalı etiketler üzerindeki güvenilirlik, herhangi bir LLM-hakem yayılımından önce gelir. Asgari standart olarak şans düzeltmeli uzlaşı ölçütlerini (Cohen’ın veya Fleiss’in κ’su, Krippendorff’un α’sı), öğrenci düzeyinde çapraz doğrulama ve alt grup hata analizini gerektirir ve bu tür dedektörler yayılımdaki platformların içine yerleştikçe yanlış ölçümün bir zarar kaynağı haline geldiğini savunur.

Diğer tasarımlar: boylamsal, vaka ve simülasyon çalışmaları

Başlıca ailelerin ötesinde, bilgi tabanı öğrenenleri zaman içinde izleyen boylamsal tasarımları (boylamsal bir LMS çalışması), özgün kullanımın vaka ve doğal ortam çalışmalarını (gerçek öğrenci etkileşimlerinin geniş ölçekli analizi) ve LLM’lerin öğrencilerin veya hastaların yerine geçtiği simülasyon çalışmalarını (simüle edilmiş öğrenciler olarak LLM’ler, Simülasyon) kullanır. Bunlar, gerçekçilik ve aksi hâlde gözlemlenmesi zor olgulara erişim için genişliği veya denetimi ödünleştirir.

Uzman uzlaşısı yöntemleri: Delphi tekniği

Delphi yöntemi, yanıtın henüz ampirik olarak bilinmediği bir soruda uzman uzlaşısı oluşturmak için yapılandırılmış bir tekniktir — bilgi tabanında en sık, uygulayıcıların ve araştırmacıların üzerinde anlaşabileceği çerçeveler, yetkinlik listeleri ve tanımlar geliştirmek için kullanılır. Bir Delphi çalışmasında, bir uzman paneli ardışık anket turlarına yanıt verir; her turdan sonra grubun yanıtlarının anonim bir özeti geri bildirim olarak sunulur ve uzmanlar, grup uzlaşma sağlayana kadar yanıtlarını revize eder (tipik olarak önceden belirlenmiş bir eşikle tanımlanır, örneğin %75). Tek bir anket veya oy yerine, yinelemeli ve anonim danışma yoluyla kavram geçerliliği ve mesleki uzlaşı inşa etmenin bir yoludur.

  • Güçlü yanları: farklı bir uzman panelinden, yüzyüze grup baskıları olmadan uzlaşı üretir (anonimlik baskınlık etkilerini azaltır); doğrulanmış bir ölçüm bulunmadığında kavramları, yetkinlikleri ve çerçeveleri tanımlamaya uygundur; yinelemeli turlar uzmanların inceltmesine ve yakınsamasına olanak tanır; tam deneylerin veya büyük örneklemlerin pratik olmadığı yerlerde uygulanabilir.
  • Sınırlılıkları: uzlaşı ampirik kanıt değil, uzman yargısını yansıtır — etki değil, uzlaşı ortaya koyar; sonuçlar panelin kompozisyonuna ve (öznel) uzlaşı eşiğine bağlıdır; birden fazla tur boyunca yavaş olabilir; tek bir panelin yargısı genellemeyebilir.
  • Örnekler: SAIL çerçeve çalışması (üç tur, 17 uzman, YZ okuryazarlığı yetkinlik düzeylerinin incelenmesi), HCAP çerçeve çalışması (üç tur, 30 öğretmen, 25 YZ-öğretmen yetkinliğinin tanımlanması), YZ Okuryazarlığı Yedigeni (uzman girdisi/uzlaşısını bir PRISMA kılavuzlu inceleme ile birlikte kullandı) ve.

Delphi çoğu zaman diğer yöntemlerle birleştirilir — örneğin, uzman uzlaşısı, bir çerçeveyi doğrulamak için kullanılabilir (SAIL ve HCAP’ta olduğu gibi) ve bu çerçeve daha sonra tasarıma dayalı araştırma veya anket çalışmaları yoluyla test edilir veya uygulanır. Nitel ve uzman yargısı yaklaşımlarının yanında yer alır ve çerçeve temelli enstrümanların geçerliliğine katkıda bulunur.

Araştırma karşısında değerlendirme: bağlantılar ve ayrımlar

Araştırma ile değerlendirme yakından ilişkili ancak ayrıdır. Araştırma, YZ’nin öğrenmeyi nasıl etkilediğine ilişkin genellenebilir sorular sorar — "iskeleleme öğrenme kazanımlarını geliştirir mi?" — ve belirli çalışmanın ötesine aktarılan kuram ile kanıt inşa etmeyi amaçlar. Değerlendirme (bkz. AIEd Değerlendirmesi), belirli bir YZ aracının veya sisteminin işe yarayıp yaramadığını değerlendirir — kıyaslamalara, rubriklere veya ilgili taraflarca tanımlanan ölçütlere karşı kesin, güvenilir, pedagojik olarak sağlam ve amaca uygun olup olmadığını. Araştırma iç geçerliliği ve genellemeyi, değerlendirme sistem niteliğini ve yerel karar alma sürecini önemser.

Sınırlar bulanıktır: kıyaslama çalışmaları araştırmayı besleyebilen değerlendirmedir ve değerlendirme enstrümanları (rubrikler, zemin gerçeği kümeleri, geçerlilik çerçeveleri), araştırmanın netleştirdiği Eğitimde Ölçme ve Değerlendirme Geçerliliği kaygılarına bağlıdır. Tersine, öğrenmeyi destekleyene ilişkin araştırma bulguları, YZ araçlarının nasıl değerlendirildiğini beslemelidir. Bilgi tabanı bunları tamamlayıcı olarak ele alır: hesaplamalı ve kıyaslama değerlendirmesi (Karşılaştırma testi (Benchmark), AIEd Değerlendirmesi) bir YZ sisteminin teknik olarak sağlam olup olmadığını söylerken, etkililik ve anket araştırması (RCT) insanların öğrenmesine yardım edip etmediğini söyler.

Yöntemler arasında seçim yapmak

Yöntem seçimi araştırma sorusunu izler. Nedensel etki soruları deneyleri (RCT) tercih eder; mekanizma ve algı soruları anket ve nitel çalışmaları; sistem niteliği soruları hesaplamalı değerlendirmeyi (Karşılaştırma testi (Benchmark), AIEd Değerlendirmesi); sentez soruları incelemeleri ve meta-analizleri; tasarım soruları DBR’yi; bir kavramın, yetkinliğin veya çerçevenin ne içermesi gerektiğine dair uzmanların ne üzerinde anlaştığına ilişkin sorular ise Delphi tekniği gibi uzman uzlaşısı yöntemlerini tercih eder. Alanın heterojenliği ve YZ değişim hızı göz önüne alındığında, bilgi tabanının derlemi, üçgenleştirmeye — bir aracın işe yarıp yaramadığını ve öğrenmeye yardım edip etmediğini yargılamak için hesaplamalı değerlendirmeyi etkililik, nitel ve uzman uzlaşısı kanıtlarıyla birleştirmeyi — doğru bilinçli bir hareketi yansıtır.

Aynı ölçüde önemli olan, herhangi bir tek çalışmayı, AIED araştırmasının tamamını etkileyen yatay kesen sınırlılıklar bilinciyle okumaktır — yöntemsel kısıtlar, yavaş yayına karşı YZ değişiminin hızlı temposu, tekrarlanabilirlik ve FAIR uygulaması boşlukları, tescilli araçlara güvenme ve zayıf veya eleştirel olmayan kuram kullanımı. Bkz. AIEd Araştırmalarındaki Sınırlılıklar.

Ana araştırma geleneklerinin karşılaştırılması

Üç başlıca araştırma geleneği — nicel, nitel ve deneysel — ne iddia edebilecekleri, neyi feda ettikleri ve her birinin ne zaman uygun olduğu konusunda temelden farklıdır. Bu karşıtlıkları anlamak, hem eğitimde YZ araştırması tasarlamak hem de okumak için zorunludur.

Her gelenek ne ortaya koyar

Boyut Nicel / anket Nitel Deneysel
Çekirdek soru Ne kadar? Nasıl ilişkili? Ne anlama geliyor? Nasıl deneyimleniyor? X, Y’ye neden olur mu?
Birincil veri Sayılar, ölçekler, özbildirim Sözcükler, gözlemler, ürünler Atanmış koşullar arası sonuç ölçüleri
Çıkarım hedefi Örüntüler, korelasyonlar, aracılık Anlam, mekanizmalar, kategoriler Nedensel etkiler
İç geçerlilik Zayıf (korelasyonel) Zayıf (denetim yok) Güçlü (rastgele atama)
Dış geçerlilik Güçlü (büyük örneklemler) Sınırlı (küçük, bağlama bağlı) Orta (denetimli koşullar)
Ekolojik geçerlilik Orta Yüksek Daha düşük (yapay koşullar)
  • Nicel araştırma değişkenler arasındaki ilişkileri ölçer ve modeller — anketler, SEM/PLS-SEM, ölçüm, boylamsal izleme. Genişlik, kesinlik ve genellenebilirlik sağlar, ancak yatay kesitli verilerden nedensellik kuramaz ve ölçüm sınırlılıklarını (özbildirim yanlılığı dâhil) miras alır.
  • Nitel araştırma anlamı ve deneyimi yorumlar — görüşmeler, odak grupları, tematik analiz, temel kuram, fenomenografi, söylem analizi, gözlem/etnografi, vaka çalışmaları. Derinlik, mekanizma ve kuram inşası sağlar (bkz. Eğitimde Yapay Zekada Teori Geliştirme), ancak sınırlı genellenebilirlik ve zayıf nedensel destek sunar.
  • Deneysel ve yarı-deneysel tasarımlar (bkz. RCT), rastgele atama veya eşleştirilmiş karşılaştırma yoluyla nedensel etkileri tahmin eder — maliyet, hız ve ekolojik geçerlilik pahasına, iç geçerlilik için altın standart.

Ölçüm ve karma yöntem bağlantıları

Nicel çalışma, incelenen kavramlar için güvenilir, geçerli enstrümanlara bağlıdır: Eğitimde Ölçme. Nitel çalışma, bu enstrümanların gözden kaçırabileceği mekanizmaları ve anlamları ortaya çıkarır. Deneysel çalışma, bir müdahalenin enstrümanların ölçtüğü sonuçlara neden olup olmadığını tahmin eder. Üçü tamamlayıcı katmanlardır: enstrümanlar kavramları nicelleştirir, deneyler nedenselliği ortaya koyar ve nitel çalışma sayıların ardındaki nasıl ve nedeni açıklar.

Karma yöntemli tasarımlar, güçlü yanlarının birbirinin zayıflıklarını gidermesi için bilerek nicel ve nitel akımları birleştirir — üçgenleştirmenin güveni arttırdığı nicel genişlik artı nitel derinlik.

Kullanılabilirlik ve HCI araştırması

Ayrı bir yöntemsel akım olan kullanılabilirlik ve HCI araştırması, kullanıcıların bir YZ sistemiyle nasıl etkileşime girdiğini değerlendirir: kullanılabilirliğini, yararlılığını, öğrenilebilirliğini ve kullanıcı deneyimini; yüksek sesle düşünme protokolleri, yapılandırılmış kullanıcı çalışmaları, görüşmeler ve gözlem kullanarak. AIEd Değerlendirmesi’e en yakın olanıdır ve bir ön koşul sorusuna yanıt verir: pedagojik olarak sağlam bir araç bile kullanılamaz hale geldiğinde başarısız olur. Kullanılabilirlik araştırması, nitel araştırmayla veri toplama yöntemlerini paylaşır, ancak anlamı yorumlamak yerine bir ürünü değerlendirmeyi amaçlar.

Gelenekler arasında faydalar ve sınırlılıklar

  • Nicel/anket: faydalar — büyük örneklemler, geniş kapsama, karmaşık aracıları test eder, verimli. Sınırlılıklar — nedensellik yok, özbildirim yanlılığı, uygunluk örneklemesi, enstrümanlar yanlış kavramı ölçebilir.
  • Nitel: faydalar — derin içgörü, beklenmeyen olguları ve zararları su yüzüne çıkarır, kuram inşası için zorunludur, temsil edilmeyen sesleri merkeze alır. Sınırlılıklar — sınırlı genellenebilirlik, araştırmacıya bağımlılık, küçük örneklemler, zayıf nedensel destek, sentezi zor.
  • Deneysel: faydalar — en güçlü nedensel çıkarım, net sonuç ölçümü, etki büyüklüğü tahmini. Sınırlılıklar — pahalı/yavaş, yapay koşullar, hızla değişen YZ sonuçları eskitir, güçsüz küçük örneklemler, etik kısıtlar.
  • Karma yöntemler: faydalar — üçgenleştirme, genişlik + derinlik, beklenmeyen sonuçları açıklar. Sınırlılıklar — karma, kaynak yoğun, bütünleşme yüzeysel kalabilir, her akımın zayıflıklarını miras alır.
  • Kullanılabilirlik/HCI: faydalar — benimseme engellerini belirler, uygulanabilir tasarım kılavuzu sunar, hızlı ve ucuz. Sınırlılıklar — öğrenme etkilerini ortaya koymaz, küçük örneklemler, özbildirim memnuniyeti yanıltıcı olabilir.

Pratikte, eğitimde YZ araştırması nadiren tek bir geleneğe temiz biçimde düşer. En güçlü kanıt üçgenleştirir: bir hesaplamalı veya kullanılabilirlik değerlendirmesi sistemin işlediğini, bir deney öğrenmeye neden olduğunu, nicel enstrümanlar kavramları ölçtüğünü ve nitel çalışma mekanizmaları ve anlamları ortaya çıkardığını gösterir — birlikte bir aracın öğrenmeye yardım edip etmediğini ve nasıl ve neden yardım ettiğini yanıtlar.

Bağlı kavramlar

Bağlı makaleler

Bağlı SSS

Üst veri

Çalışma tasarımıExperiment
SeviyeHigher Ed
Değerlendirme ve ölçmeEğitimde Ölçme
Araştırma yöntemleri ve değerlendirmeAIEd Değerlendirmesi, Karşılaştırma testi (Benchmark), RCT, AIED’de Araştırma Yöntemleri
Eğitimde YZ’nin temelleriEğitimde Yapay Zeka
Sayfa türüEvaluation
SourceHistoryEditChat

Bu sayfayı göm

Bu sayfayı bir öğrenme yönetim sistemine veya başka bir web sitesine gömmek için aşağıdaki kodu kopyalayın. Gömülü sürüm yalnızca sayfa içeriğini gösterir — site başlığını, gezintiyi ve alt bilgiyi gizler.