Meta-Analisis dan Tinjauan Sistematis

Terjemahan mesin otomatis halaman berbahasa Inggris ini, yang belum ditinjau oleh penutur asli.

Meta-analisis dan tinjauan sistematis — keluarga metode sintesis bukti yang dipakai peneliti untuk menghimpun dan menilai sekumpulan studi, alih-alih menjalankan satu eksperimen baru. Sebuah tinjauan sistematis menerapkan protokol yang transparan dan dapat direproduksi untuk mencari, menyaring, menilai, dan menyintesis literatur tentang pertanyaan yang terfokus; sebuah meta-analisis melangkah lebih jauh dengan memadukan ukuran efek secara statistik di antara studi yang memenuhi syarat untuk menghasilkan estimasi ringkasan berbobot dan menguji moderator. Dalam AI dalam pendidikan, metode-metode ini menjadi pusat dalam membangun basis bukti tentang apakah alat AI berhasil, dalam kondisi apa, dan untuk siapa — serta dalam menyingkap celah, bias, dan mutu metodologis bidang ini.(A meta-analysis of the effect of generative AI on productivity and learning in programming)(Comprehensive Review of Intelligent Tutoring Systems)

Pertanyaan yang Perlu Dipertimbangkan

• Bayangkan Anda membaca sepuluh studi tentang apakah tutor AI berhasil — dua menunjukkan keuntungan besar, tiga tidak menunjukkan apa pun, lima menunjukkan efek positif kecil. Bagaimana Anda memutuskan apa yang harus disimpulkan? Ketegangan itulah yang memang dirancang untuk diselesaikan oleh tinjauan sistematis dan meta-analisis.
• Tinjauan sistematis dan meta-analisis sering dianggap hal yang sama, tetapi halaman ini membedakannya: tinjauan menyintesis menurut protokol terdokumentasi, sementara meta-analisis memadukan ukuran efek secara statistik. Kapan pemaduan menjadi tidak tepat atau tidak mungkin, bahkan ketika tinjauan yang cermat sudah ada?
• Tinjauan sistematis berada di puncak hierarki bukti sebagian karena ia mengompensasi sampel kecil, desain yang heterogen, dan hasil yang saling bertentangan antar studi. Di mana Anda pernah melihat satu studi dramatis membentuk opini padahal bukti gabungannya jauh lebih campur aduk?
• Meta-analisis menghasilkan estimasi ringkasan berbobot — satu angka seperti 'efek rata-rata 0,125 simpangan baku.' Apa yang disembunyikan rata-rata gabungan tentang kondisi, pembelajar, atau konteks tempat efeknya berbeda — dan mengapa itu penting bagi apakah Anda akan bertindak berdasarkan angka tersebut?
• Kedua metode berkomitmen pada protokol yang transparan dan dapat direproduksi (sering PRISMA) justru karena pilihan tentang apa yang dicari dan dimasukkan dapat membiaskan hasilnya. Seberapa besar Anda akan memercayai tinjauan yang tidak mengungkapkan keputusan pencarian dan penyaringannya?

Pendahuluan

Tinjauan sistematis dan meta-analisis berada di puncak hierarki bukti tradisional justru karena keduanya menyintesis banyak studi individual, mengompensasi sampel kecil, desain heterogen, dan hasil yang saling bertentangan yang mencirikan setiap bidang terapan yang bergerak cepat. Dalam AI dalam pendidikan, tempat alat dan studi baru muncul terus-menerus, tinjauan memainkan peran krusial dalam menakar keadaan: memetakan apa yang telah diteliti, menghimpun apa yang diketahui, dan menandai tempat bukti masih tipis atau lemah secara metodologis. Keduanya berbeda dari tinjauan literatur naratif atau integratif, yang menyediakan sintesis kualitatif, dalam komitmennya pada protokol terdokumentasi dan (untuk meta-analisis) pemaduan statistik.(The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education)

Tinjauan sistematis vs. meta-analisis

Keduanya mengikuti PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) sebagai standar pelaporan, yang mendokumentasikan proses pencarian, penyaringan, dan pemilihan demi transparansi dan reproduksibilitas. Sebuah tinjauan integratif dapat mengikuti prinsip PRISMA untuk transparansi sambil berhenti sebelum pemaduan statistik.(A systematic review of AI-powered collaborative learning in higher education: Trends and outcomes from the last decade)(The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education)

Sintesis bukti dalam AI di bidang pendidikan

Apa yang dicapai tinjauan

Tinjauan sistematis dan meta-analisis dalam AI di bidang pendidikan melayani beberapa tujuan yang berbeda:

• Membangun basis bukti — menentukan apakah alat AI (tutor, umpan balik, penilaian, chatbot) menghasilkan keuntungan pembelajaran, dan seberapa besar keuntungan itu.
• Memetakan bidang dan celahnya — tinjauan cakupan mendokumentasikan apa yang telah diteliti, di mana bukti terkonsentrasi, dan di mana bukti itu hilang (misalnya latar tempat kerja, karya non-Inggris, kasus kegagalan).(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness) Hitung rekaman, bukan studi, ketika tinjauan melaporkan frekuensi. Dalam tinjauan cakupan yang menjangkau 31 studi dari 21.720 rekaman, lima studi menyumbang 62 dari 192 rekaman praktik, sehingga persentasenya menggambarkan materi yang diekstraksi alih-alih observasi independen atau prevalensi (Tie, Gil Ortega dan Zhao (2026)).
• Mengidentifikasi moderator dan kondisi — meta-analisis menguji apakah efek berbeda menurut populasi pembelajar, domain, jenis sistem AI, atau desain studi, sehingga menyingkap untuk siapa dan dalam kondisi apa sebuah alat berhasil. Namun moderator hanya sekuat studi di baliknya: dalam meta-analisis 2026 atas penulisan L2 berbantuan GenAI, satu-satunya moderator yang bertahan setelah kontrol metodologis adalah klasifikasi risiko bias studi, sementara perbedaan model instruksional yang tampak signifikan dalam analisis subkelompok kolaps begitu mutu studi dan ukuran sampel dimasukkan. Mutu metodologis, bukan pedagogi, yang membawa efeknya — sehingga moderator pedagogis yang tampak menjanjikan menuntut pengujian yang sama ketatnya dengan estimasi gabungan. Moderator nol membawa pelajaran yang sama secara terbalik. Dalam meta-analisis Chen dan Wei atas teknologi digital dan AI untuk keterampilan bahasa asing (40 studi, 3.367 partisipan, g gabungan = 0,962), moderator yang bertahan adalah desain studi (eksperimen kuasi g = 1,019 berbanding eksperimen sejati g = 0,474), durasi intervensi, dan jumlah alat, sementara jenis keterampilan bahasa, jenis teknologi, jenjang pendidikan, latar, dan ukuran sampel tidak menunjukkan perbedaan antarkelompok yang signifikan, sehingga para penulis menyimpulkan bahwa efektivitas tidak dapat diatribusikan kepada label teknologi atau kategori keterampilan. Meta-analisis Yu dan kolega atas pendidikan AI di K-12 (16 studi, 57 ukuran efek, g = 0,892) menemukan ketiga moderator yang diujinya (sumber terbitan, tahun terbitan, jenjang sekolah) nol dan membaca heterogenitas sisanya (I2 = 94,68%) sebagai bukti bahwa bidang ini belum sepakat tentang bagaimana mengukur Literasi AI sama sekali. Ketika sebuah moderator kembali nol dan heterogenitas tetap tinggi, kesimpulan sintesisnya sering kali tentang konstruk hasil atau desain studi primernya, sama besarnya dengan tentang intervensinya.
• Menyingkap mutu metodologis — tinjauan secara rutin menemukan bahwa bidang ini bersandar pada desain berdaya rendah, pra-eksperimental, atau kuasi-eksperimental dan pascauji langsung, sehingga meredam kesimpulannya.(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)(Comprehensive Review of Intelligent Tutoring Systems) Pelaporan yang tipis tentang apa yang sebenarnya dilakukan adalah bagian dari gambaran itu, dan ia membatasi apa yang dapat dikatakan sintesis mana pun di kemudian hari: tinjauan sistematis Yalcin dan kolega atas GenAI dalam pendidikan pemrograman tidak dapat mengidentifikasi pendekatan instruksional pada 26 dari 46 studinya, dan 32 dari 46 itu muncul di prosiding konferensi, sehingga tinjauan hanya dapat mengode pedagogi untuk kurang dari separuh korpusnya dan berakhir dengan bukti dampak yang campur aduk (sebagian studi menunjukkan kinerja ujian dan pengodean yang membaik, sementara yang lain tidak menemukan perbedaan signifikan terhadap umpan balik instruktur). Sebuah sintesis mewarisi kebiasaan pelaporan bidangnya.

Keandalan penyaringan dapat bergantung pada konstruk: dalam tinjauan cakupan PRISMA-ScR atas 123 studi GenAI, ketergantungan kognitif dan agensi pembelajar, kesepakatan judul/abstrak (Fleiss' κ = 0,7103) turun ke κ = 0,4884 pada teks penuh, yang oleh para penulis diatribusikan pada batas interpretatif antara relevansi GenAI yang luas dan relevansi substantif terhadap mekanismenya (Wang et al. (2026)).

Contoh dari basis pengetahuan

• Meta-analisis GenAI dan pemrograman — memadukan bukti tentang pertukaran produktivitas-pembelajaran, menemukan keuntungan produktivitas yang signifikan tetapi tidak ada keuntungan pembelajaran yang signifikan (g ≈ 0), yang menggambarkan kemampuan meta-analisis memisahkan efisiensi jangka pendek dari pembelajaran yang bertahan.(A meta-analysis of the effect of generative AI on productivity and learning in programming)

• Meta-analisis GenAI dalam pembelajaran siswa dari lensa TPACK — memadukan 71 studi (74 ukuran efek) menjadi efek sedang-ke-besar (g = 0,752) yang terurai tidak merata: keuntungan kognitif (g = 0,831) dan afektif (g = 0,729) yang kuat tetapi efek keterlibatan perilaku yang kecil dan tidak signifikan (SMD = 0,057, p = 0,828) (Liu & Zhong, 2025).

• Tinjauan sistematis AI dalam VET — tinjauan sistematis pertama atas 26 studi, mendokumentasikan jurang bernama konstruktivis tetapi berpraktik behavioris serta tidak adanya studi di latar tempat kerja.(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)

• Tinjauan sistematis GenAI di pendidikan tinggi — memetakan peluang, tantangan, dan inovasi pedagogis sepanjang rentang lima tahun.

• Tinjauan ITS komprehensif — tinjauan sistematis atas sistem tutor cerdas dengan fokus pada ketelitian metodologis.

• Tinjauan sistematis ChatGPT dan berpikir kritis/kreatif — menyintesis bukti tentang apakah penggunaan Model Bahasa Besar (LLM) mendukung atau melemahkan berpikir tingkat tinggi.

• Basis bukti AI di K-12 — meninjau kekuatan bukti untuk tutor AI di sekolah.

• Meta-analisis intervensi literasi AI — meta-analisis tiga tingkat atas 59 studi (172 efek, 7.211 partisipan) yang mengestimasi efek keseluruhan yang besar (g = 0,837) sekaligus menunjukkan bahwa efektivitasnya bervariasi menurut kawasan dan fokus hasil pembelajaran (intervensi yang berfokus pada pengetahuan mengungguli intervensi yang menyasar keterampilan, sikap, atau etika).

• Heptagon Literasi AI — tinjauan literatur integratif yang mengikuti prinsip PRISMA, menggambarkan sintesis kualitatif yang berhenti sebelum meta-analisis.(The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education)

• Meta-analisis teknologi digital dan AI untuk keterampilan bahasa asing — Chen dan Wei (2026) memadukan 40 studi eksperimental dan kuasi-eksperimental (3.367 partisipan) menjadi efek besar (g = 0,962, 95% CI 0,765 hingga 1,159) dengan heterogenitas tinggi (I2 = 85,178) dan pemeriksaan bias publikasi yang mendukung estimasinya (fail-safe N Orwin = 5853; uji Egger p = 0,84465). Bagian yang mendidik adalah moderator desainnya: eksperimen kuasi melaporkan g = 1,019 berbanding g = 0,474 untuk eksperimen sejati, dan pola durasi serta jumlah alat yang non-linear bersandar pada subkelompok berisi satu atau dua studi.

• Meta-analisis GenAI dan hasil pembelajaran di pendidikan tinggi — Jing dan kolega (2026) memadukan 35 studi dan 175 ukuran efek menjadi g = 0,53 (95% CI [0,48, 0,64]), terbesar untuk keterampilan profesional (g = 0,72), lalu kinerja akademik (g = 0,46) dan sikap emosional (g = 0,44). Durasi memoderasi setiap dimensi, dan penurunannya itulah intinya: efek kinerja akademik turun dari g = 5,07 untuk intervensi 0 hingga 4 minggu menjadi g = 0,64 pada 4 hingga 12 minggu dan g = 0,01 di luar 12 minggu (Q = 35,19, p < 0,001). Jenis disiplin dan metode pembelajaran bukan moderator yang signifikan.

• Meta-analisis pendidikan AI K-12 dan literasi AI — Yu dan kolega (2026) memadukan 16 studi (57 ukuran efek, 3.837 siswa, semua efek positif) menjadi g = 0,892 (95% CI [0,548, 1,236]), dengan penyesuaian trim-and-fill menyisakannya pada g = 0,952. Ketiga moderator yang diuji (sumber terbitan, tahun, jenjang sekolah) kembali nol, dan para penulis mengatribusikan heterogenitas 94,68% itu pada pengukuran: studi-studi itu mengoperasionalkan Literasi AI mulai dari pengetahuan dan etika AI hingga sikap, efikasi diri, dan minat karier.

• Tinjauan sistematis GenAI dalam pendidikan pemrograman — Yalcin dan kolega (2026) menyaring 151 rekaman secara PRISMA menjadi 46 studi, yang 26 di antaranya tidak memberikan deskripsi pendekatan instruksional yang dapat dipakai dan 38 meneliti satu alat tunggal (ChatGPT saja muncul di 35 dari 46). Tinjauan itu memetakan alat, bahasa, dan forum dengan andal tetapi hanya dapat mengode pedagogi untuk kurang dari separuh korpusnya, demonstrasi bersih bahwa pelaporan studi primer yang tipis membatasi apa yang dapat disimpulkan sebuah sintesis.

• Tinjauan cakupan dan peta bukti NLP dalam evaluasi pengajaran oleh siswa — Eicher dan da Silva (2026) menilai 421 studi pada satu sumbu teknis dan empat dimensi nilai, mengodekan daya tindak pada skala enam tingkat dari kegunaan yang dinyatakan hingga dampak terukur pada keputusan, dan mencapai keluaran yang dapat dipakai pada 258 dari 421 studi (61,3%) berbanding evaluasi oleh pengguna yang dimaksudkan hanya pada 49 (11,6%). Mengubah celah menjadi dimensi terkode memungkinkan tinjauan itu menamai batas 49,7 poin antara "modelnya berhasil" dan "umpan baliknya mengubah pengajaran" sebagai temuan utamanya, bukan sebagai catatan samping.

• Tinjauan PRISMA 2020 atas GenAI dalam pembelajaran skenario layanan kesehatan — Neto dan kolega (2026) menelusuri lima basis data secara sistematis (9 Nov 2025) untuk studi GenAI yang ditelaah sejawat dalam pendidikan layanan kesehatan berbasis skenario, kasus, masalah, dan simulasi, menyaring 1.151 rekaman menjadi 23 studi yang disertakan dan dinilai dengan Mixed Methods Appraisal Tool (MMAT). Sintesis tematik mereka memunculkan enam tema lintas bidang yang berpangkal pada desain prompt sebagai spesifikasi instruksional, dan mendokumentasikan celah dalam standardisasi validasi, desain longitudinal/komparatif, serta kuantifikasi efisiensi — sebuah templat bagi tinjauan sistematis GenAI khas domain yang ketat.

• Tinjauan sistematis pendidik bahasa dan GenAI — tinjauan selaras PRISMA atas 23 studi empiris terindeks SSCI (Desember 2022–September 2024) tentang bagaimana pendidik bahasa memersepsikan, mengadopsi, dan belajar mengintegrasikan GenAI, disintesis melalui tipologi pengetahuan Aristotelian episteme (pemahaman teoretis), techne (keterampilan praktis), dan phronesis (kebijaksanaan praktis). Tinjauan ini mendokumentasikan adopsi yang hati-hati dan selektif yang condong ke persiapan di balik layar, celah kompetensi yang menetap pada ketiga jenis pengetahuan, dan hanya tiga intervensi pengembangan profesional terstruktur — menggambarkan bagaimana sebuah tinjauan dapat menyingkap basis bukti sekaligus celah metodologis bidangnya (di sini, kelangkaan studi pengembangan profesional terstruktur).

• Tinjauan sistematis AI dan penyelenggaraan layanan di pendidikan tinggi global — Nyamboga (2026) menyintesis 155 studi di lima domain dan menilai kepastian masing-masingnya dengan kriteria adaptasi CASP dan JBI, memberi peringkat tinggi pada integrasi AI dan kesiapan infrastruktur, sedang pada kepemimpinan, dan rendah pada tata kelola etis serta keberlanjutan. Tinjauan itu juga mengarahkan lensa mutu pada korpusnya sendiri: 117 studi (75,5%) melaporkan implementasi yang berhasil, 124 (80,0%) hanya mencakup dampak jangka pendek, dan hanya 23 (14,8%) melaporkan kegagalan etika, keadilan, atau tata kelola. Sebuah sintesis dapat melaporkan seberapa pasti buktinya, domain demi domain, bukan hanya arah yang ditunjuknya.

• Tinjauan sistematis RL dalam pendidikan — Riedmann, Schaper & Lugrin (2025) menerapkan protokol berstandar PRISMA untuk menyintesis 89 studi pembelajaran penguatan (2000–2024). Tinjauan itu adalah studi kasus yang mendidik tentang metode sintesis dan batasnya: ia memetakan bidang yang tumbuh cepat tetapi tidak merata secara metodologis — lebih dari separuh studi (n = 54) tidak melaporkan pengujian statistik — dan menjalankan analisis ukuran efek hanya pada 15 makalah yang layak dipadukan, melaporkan efek menengah-ke-besar (Cohen's d) dari evaluasi langsung. Ia juga melakukan pemeriksaan bias publikasi (plot corong, uji Egger, PET-PEESE) yang tidak menemukan bias signifikan tetapi berdaya terbatas (n = 6), dan ia berhenti pada sintesis tematik-plus-kuantitatif terbatas alih-alih meta-analisis penuh justru karena protokol evaluasi yang heterogen mencegah pemaduan yang lebih luas — ilustrasi konkret atas keterbatasan heterogenitas dan garbage-in/garbage-out yang diuraikan di bawah.

• Tinjauan cakupan berpikir kritis dalam penelitian HCI tentang AI — Inie dan kolega (2026) memetakan 80 makalah empiris dan dengan sengaja tidak melakukan penilaian mutu, sehingga pengaruh "yang diklaim" berarti kesimpulan yang dinyatakan tiap makalah. Hanya 23 makalah (29%) mendefinisikan berpikir kritis, 46 (57%) tidak dapat ditetapkan pada posisi teoretis mana pun, dan 49 (61%) mengukur konstruk itu melalui laporan diri, yang memungkinkan 50 makalah (62%) melaporkan pengaruh positif. Ketika sebuah konstruk sedemikian tak terdefinisi dan ukurannya tak sebanding, memetakan bidangnya lebih informatif daripada memadukannya, dan menahan penilaian menggeser klaimnya dari sebuah efek menjadi deskripsi tentang apa yang dinyatakan studi-studi itu.

• Tinjauan pemetaan integrasi AI di pendidikan tinggi (FACETS + SAMR) — tinjauan PRISMA 2020 yang menyaring 959 rekaman menjadi 22 studi intervensi, menggambarkan bagaimana kerangka pengodean (FACETS: Form, AI use case, Context, Education focus, Technology, SAMR) plus lensa evaluatif (SAMR) memetakan literatur yang terfragmentasi dan memberi peringkat kedalaman transformasinya. Sebagian besar studi yang disertakan berada pada SAMR Substitution/Augmentation, menunjukkan bahwa tinjauan pemetaan dapat menyingkap bidang integrasi yang luas tetapi dangkal — sebuah alternatif bagi pemaduan efek ketika tujuannya menggambarkan lanskap alih-alih mengestimasi efek.

• Tinjauan sistematis intervensi guru dalam pembelajaran berbasis AI di K-12 — Lee (2026) menyaring 1.565 rekaman menjadi 29 studi dengan dua penilai independen pada setiap tahap (κ = 0,655 penyaringan, κ = 0,647 kelayakan) dan penilaian mutu MMAT yang mengeluarkan satu studi. Ini contoh yang mendidik tentang sintesis yang dengan sengaja berhenti sebelum pemaduan: karena efek independen intervensi guru tidak dapat dipisahkan dari desain sistem AI, struktur instruksional, dan konteks kelas pada sebagian besar studi yang disertakan, tinjauan itu melaporkan hasil bersyarat dan kerangka penjelas tentang proses, strategi, dan efek alih-alih ukuran efek — keterbatasan yang sama yang memisahkan tinjauan dari meta-analisis.

• Tinjauan sistematis nilai dan norma etis dalam AIED — Agarwal dan kolega (2026) menyaring 736 rekaman di Web of Science, ERIC, IEEE CSDL, dan ACM DL (plus snowballing mundur) menjadi 25 artikel yang disertakan, menghimpun literatur etika AIED yang terfragmentasi menjadi enam nilai etis utama (non-diskriminasi, pengelolaan data, pengawasan manusia, niat baik, keterjelasan, kesesuaian edukatif) dan memetakan norma etis ke matriks pemangku kepentingan per nilai. Tinjauan itu menggambarkan bagaimana protokol sistematis dapat menyintesis literatur yang terfragmentasi secara konseptual dan sebagian besar non-empiris (hanya tiga dari 25 artikel adalah makalah metodologi atau penelitian orisinal) dan mengubahnya menjadi kerangka yang dapat ditindaklanjuti — di sini, fondasi bagi tata kelola dan kebijakan.

• Meta-analisis tiga tingkat GenAI dalam PBL/PjBL — Chen dan kolega (2026) memadukan 22 studi terkontrol dan 66 ukuran efek menjadi efek besar pada hasil internal pembelajar (g = 0,819, 95% CI [0,655, 0,983]), lalu melaporkan bahwa koreksi studi kecil PET-PEESE menurunkan estimasinya ke g = 0,378 sementara model kinerja produk (g = 1,958, enam studi) membawa interval prediksi yang melewati nol. Dua studi lebih lanjut dikeluarkan karena gagal melewati ambang kesetaraan garis dasar What Works Clearinghouse sebesar 0,25 SD. Efek yang dilaporkan bergantung pada koreksi bias dan penyaring desain yang diterapkan sebuah sintesis, dan keduanya semestinya masuk ke interpretasi, bukan ke catatan kaki.

Tinjauan interdisipliner AI untuk disleksia

Dabaghi, D'Urso & Sciarrone (2026) menyajikan tinjauan sistematis interdisipliner berpanduan PRISMA (2018–2024, n=72) tentang AI dan AI generatif untuk mendukung siswa dengan disleksia dalam pendidikan. Tinjauan itu memetakan AI pada deteksi, dukungan asistif, dan pembelajaran terpersonalisasi, menemukan bahwa untaian-untaian ini berkembang secara paralel alih-alih terintegrasi, digerakkan lebih oleh peluang teknologi daripada oleh teori pendidikan yang mapan. Ia mendokumentasikan bahwa AI generatif kurang dimanfaatkan di domain ini (penelitian GAI, semuanya dari 2024, mengelompok ke chatbot, dukungan pelatihan guru, dan studi eksploratif) dan bahwa alat bantu pendidikan berbasis ML terbagi ke lima area (aplikasi spesifik, keterlibatan, personalisasi, rekomendasi, dukungan generik) sambil menekankan kinerja teknis di atas validitas ekologis. Tantangan terbuka meliputi validasi eksperimental yang terbatas, skalabilitas dan aksesibilitas alat diagnostik, kekhawatiran etika/privasi atas data siswa yang sensitif, dukungan guru yang terbatas, serta hambatan bahasa/budaya. Keterbatasan metodologis tinjauannya sendiri — bias klasifikasi interpretatif, pengecualian studi non-Inggris, protokol evaluasi heterogen yang mencegah sintesis kuantitatif, dan basis bukti GAI yang berkembang cepat — menggambarkan ketegangan inti keluarga tinjauan sistematis: protokol yang transparan dapat memetakan bidang yang terfragmentasi, tetapi evaluasi yang heterogen mencegah pemaduan statistik, sehingga tinjauan berhenti pada sintesis tematik alih-alih meta-analisis.

Tantangan sintesis di era AI: produktivitas vs. pembelajaran

Tinjauan atas intervensi AI generatif menghadapi tantangan khas yang disorot penelitian sintesis dalam basis pengetahuan ini: memisahkan keuntungan produktivitas dari keuntungan pembelajaran yang bertahan. Karena AI generatif dapat menggelembungkan kinerja tugas langsung (pekerjaan rumah, latihan berbantuan) tanpa menghasilkan pembelajaran, meta-analisis harus cermat tentang hasil mana yang dipadukannya. Meta-analisis GenAI-dan-pemrograman menemukan keuntungan produktivitas yang besar tetapi tidak ada keuntungan pembelajaran yang signifikan (g ≈ 0) — ilustrasi yang bersih. Studi lapangan berskala besar dan penelitian pengukuran tanpa bantuan menunjukkan bahwa efek terukur bergantung pada apakah hasilnya berbantuan AI atau diawasi/tanpa bantuan. Karena itu tinjauan semestinya melaporkan hasil berbantuan dan tanpa bantuan secara terpisah, membedakan kinerja dari pembelajaran, dan menandai studi yang hanya mengukur kinerja langsung yang didukung AI. Sebuah peringatan pelengkap muncul dari meta-analisis literasi AI: hasil mana yang dipadukan juga membentuk jawabannya — intervensi literasi AI yang berfokus pada pengetahuan menunjukkan efek lebih besar daripada yang menyasar keterampilan, sikap, atau etika, sehingga tinjauan yang hanya memadukan hasil pengetahuan dapat melebih-lebihkan apa yang dicapai pengajaran literasi AI secara keseluruhan. Ini terhubung ke Evaluasi AI dalam Pendidikan dan Penilaian Sumatif.

Artefak yang sama muncul pada dimensi waktu. Meta-analisis Jing dan kolega (2026) atas GenAI di pendidikan tinggi (35 studi, 175 ukuran efek, g gabungan = 0,53) melaporkan efek kinerja akademik yang turun dari g = 5,07 untuk intervensi 0 hingga 4 minggu menjadi g = 0,64 pada 4 hingga 12 minggu dan g = 0,01 di luar 12 minggu (Q = 35,19, p < 0,001), dengan efek sikap emosional turun dari puncak g = 2,05 ke g = 0,18 sepanjang rentang yang sama. Efek sebesar itu, secepat itu, sebagian besar merekam bantuan tingkat tugas alih-alih pembelajaran yang bertahan, sehingga estimasi gabungan yang didominasi studi pendek patut dibaca sebagai batas atas atas apa yang akan bertahan dalam implementasi nyata. Tinjauan yang memadukan hasil karena itu semestinya mencatat durasi intervensi di samping ukuran efeknya, sebab durasi adalah salah satu dari sedikit moderator yang bertahan di antara sintesis-sintesis ini.

Kekuatan dan keterbatasan

Kekuatan:

• Sintesis yang efisien atas literatur yang besar dan terfragmentasi
• Meta-analisis menghasilkan estimasi efek gabungan, meningkatkan daya statistik, dan mendeteksi moderator serta heterogenitas
• Protokol sistematis memperbaiki transparansi dan reproduksibilitas dibandingkan tinjauan naratif
• Esensial bagi praktik berbasis bukti dan bagi pengidentifikasian celah penelitian

Keterbatasan:

• Garbage-in/garbage-out — sintesis hanya sebaik mutu studi yang disertakan; desain primer yang lemah menghasilkan kesimpulan gabungan yang lemah
• Bias publikasi — hasil nol atau negatif kurang diterbitkan, menggelembungkan efek gabungan
• Heterogenitas — desain, ukuran hasil, dan sistem AI yang beragam membuat pemaduan langsung sulit dan dapat meruntuhkan makna satu ukuran efek. Meta-analisis penulisan GenAI membuatnya konkret: keunggulan gabungan yang besar dan signifikan secara statistik datang bersama heterogenitas antastudi yang begitu ekstrem sehingga interval prediksi untuk implementasi baru tetap melewati nol, artinya penerapan baru dapat secara masuk akal tidak menghasilkan manfaat apa pun. Arah rata-ratanya tangguh; besarnya tidak — itulah sebabnya interval prediksi, bukan estimasi gabungan semata, yang semestinya menjadi dasar keputusan mengadopsi. Heterogenitas yang tak terselesaikan juga dapat datang dari sisi hasil alih-alih sisi desain: meta-analisis literasi AI K-12 menemukan I2 = 94,68% yang tidak dijelaskan moderator mana pun, dan melacaknya ke tidak adanya ukuran Literasi AI yang disepakati, dengan 16 studi itu mencampur hasil kognitif dan afektif di bawah satu label. Heterogenitas yang digerakkan oleh apa yang diukur sama besarnya dengan oleh apa yang dilakukan tidak dapat diselesaikan dengan pemaduan.
• Keusangan cepat — lanskap alat AI berubah dengan cepat, sehingga tinjauan dapat cepat basi
• Kendala cakupan — pencarian pada satu basis data atau hanya bahasa Inggris dapat melewatkan karya yang relevan.(A systematic review of AI-powered collaborative learning in higher education: Trends and outcomes from the last decade)(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)

Meta-penelitian memperingatkan bahwa basis sintesis AIED saat ini lemah. Sekumpulan kritik yang tumbuh mendokumentasikan bahwa ukuran efek AI yang menjadi judul bidang ini — terutama dari meta-analisis awal — digelembungkan oleh bias publikasi, ketidakkoherenan konstruk, dan jalan pintas metodologis. Bartoš et al. (2026), yang memeta-analisis 1.840 ukuran efek dari 67 meta-analisis, mengestimasi efek AI yang disesuaikan bias publikasi pada kira-kira sepertiga besaran yang dilaporkan (SMD ≈ 0,196), dengan heterogenitas ekstrem. O'Neill (2026) mengaudit 14 meta-analisis AIED berdampak tinggi dan menemukan tidak satu pun memiliki konstruk yang koheren, penilaian bias publikasi yang sah, atau heterogenitas yang terselesaikan; dua belas memperlakukan ukuran efek dependen sebagai independen. Weidlich et al. (2025) menunjukkan bahwa sebagian besar perbandingan primer tidak memiliki perlakuan, kontrol, dan ukuran pembelajaran yang terdefinisi dengan baik. Ini berarti pembaca semestinya memperlakukan ukuran efek AIED gabungan sebagai batas atas sampai mutu sintesisnya membaik — lihat Keterbatasan dalam Penelitian AIEd untuk analisis lengkapnya.

• Standar pelaporan belum mengikuti otomatisasi. PRISMA-LLM menganalisis SciLitBench, korpus 888 makalah otomatisasi tinjauan dengan 14.726 anotasi, dan mendokumentasikan laju pertumbuhan mendekati 4,7% per bulan di samping celah akuntabilitas: sejak 2023, 38,0% makalah perangkat lunak dan produk tidak melaporkan evaluasi sama sekali, berbanding 9,3% makalah LLM, dan 52% evaluasi LLM yang hanya positif melaporkan kekhawatiran ambang tinggi yang belum terpenuhi. Karena pipeline LLM dan perangkat lunak kini berperan serta pada tahap-tahap yang dapat mengubah basis bukti, kerangka itu mensyaratkan pengungkapan di mana dalam alur kerja tinjauan otomatisasi beroperasi, apa yang dievaluasi, dan keterbatasan mana yang diperiksa — perluasan langsung dari masalah transparansi yang telah didokumentasikan kritik tinjauan AIED bagi meta-analisis efek pembelajaran. (PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews)
• Contoh kerja sebuah tinjauan yang dengan sengaja menolak memadukan. Spyropoulou dan Kameas (2026) menyintesis 78 studi desain instruksional berbantuan AI (2022-2026) dan menilai sintesis kuantitatif tidak tepat karena korpusnya mencampur laporan praktisi, studi kasus bersampel kecil, dan desain metode campuran. Alih-alih memaksakan efek gabungan, mereka menjalankan sintesis tematik kualitatif dan menyatakan secara eksplisit bahwa kekuatan pembuktian ditimbang di sepanjang uraian alih-alih diasumsikan. Itu adalah keputusan yang benar jauh lebih sering daripada yang tercermin dalam literatur: ketika sebuah korpus tidak dapat menopang pemaduan, menolak memadukan adalah temuan tentang bidangnya, bukan kekurangan metodologis tinjauan itu.
• Penilaian mutu dipakai untuk menimbang, bukan untuk mengecualikan. Tinjauan itu menilai setiap studi dengan MMAT 2018 dan membiarkan penilaian itu menginformasikan keyakinan yang diberikan pada setiap temuan yang disintesis alih-alih menyaring desain yang lebih lemah. Studi bermutu lebih rendah karena itu menyumbang pada bobot yang lebih rendah secara sepadan, yang mempertahankan bentuk basis bukti — termasuk kelemahannya — alih-alih menyajikan versi tersaringnya. Pilihan itu penting karena kriteria pengecualian dan aturan pembobotan dapat mengubah kesimpulan sebuah tinjauan tanpa mengubah kepatuhannya pada protokol.
• Penilaian mutu juga dapat mengecualikan dan menghitung ulang. Kim dan Han (2026) mengambil jalan lain dengan 23 studi yang mereka sertakan: alih-alih membobot, mereka menghitung ulang setiap frekuensi dengan tiga makalah berperingkat Rendah dan empat makalah yang tak dapat dinilai dikeluarkan, menyisakan 16, dan melaporkan mana yang bertahan setelah pemotongan itu. Pembelajaran mendalam tetap pertama (45,5% dari 22 tag), penggunaan multimodal hampir tidak bergerak (31,3% makalah) dan urutan hasilnya bertahan dalam 2,4 poin persentase, sementara interaksi turun dari 12,5% ke 6,7%, penciptaan konten dari 7,5% ke 3,3%, dan data gambar turun dari pertama ke keempat ketika data gerak menjadi modalitas paling sering. Keduanya menjawab pertanyaan berbeda: pembobotan mempertahankan bentuk korpus, penghitungan ulang menunjukkan pola mana yang bersandar pada anggotanya yang terlemah.
• Dominasi laporan diri layak mendapat baris peringatannya sendiri. Para penulis menyebut laporan diri sebagai keterbatasan tingkat korpus di atas penilaian tingkat studi mereka, dan dalam hal ini peringatan itu menggigit dua kali: temuan substantif tinjauan itu sendiri menyangkut pendidik yang melebih-lebihkan keterampilan evaluasi mereka sendiri, sehingga keterbatasan metodologis dan pokok persoalannya adalah masalah yang sama. Sintesis yang studi-studi sertakannya mengukur kompetensi melalui laporan diri, pada topik yang penilaian dirinya terbukti tidak andal, harus menyatakannya di bagian keterbatasan alih-alih secara sambil lalu.
• Pengodean oleh satu pengode dilaporkan sebagai keterbatasan, bukan dihilangkan. Penyaringan dan pengodean dilakukan oleh penulis pertama dengan kasus batas diselesaikan melalui konsensus dengan penulis kedua, dan keandalannya tidak dikuantifikasi melalui pengodean ganda independen — sehingga kategori interpretatifnya, terutama peran AI dan tingkat pengawasan, membawa risiko bias pengode tunggal yang dinyatakan para penulis secara terbuka. Banyak tinjauan di bidang ini menghilangkan kalimat itu; mencantumkannya memungkinkan pembaca menilai seberapa besar bobot yang dapat dipikul kategori interpretatifnya.

Hubungan dengan metode lain

Dalam lanskap metodologis basis pengetahuan ini, meta-analisis dan tinjauan sistematis adalah keluarga sintesis, yang melengkapi desain primer:

• Studi primer (eksperimen, survei, kerja kualitatif, penelitian berbasis desain) menghasilkan temuan individual; tinjauan menghimpunnya. Lihat Metode Penelitian dalam AIED.
• Pelaporan ukuran efek dalam studi primer (misalnya RCT) adalah yang memungkinkan meta-analisis di kemudian hari — tinjauan bergantung pada studi yang melaporkan ukuran efek yang sebanding dan dapat diekstraksi.
• Evaluasi (Evaluasi AI dalam Pendidikan, Tolok Ukur) menilai sistem individual; tinjauan menilai literatur tentang sistem dan intervensi.
• Pengukuran pendidikan (Pengukuran Pendidikan, Validitas Penilaian) menyangkut mutu ukuran hasil yang dipadukan tinjauan.

Implikasi bagi peneliti

1. Laporkan ukuran efek yang dapat diekstraksi. Agar sebuah literatur dapat dimeta-analisis, studi primer harus melaporkan ukuran efek yang sebanding dan detail metode yang memadai — tanggung jawab setiap studi AIED.(Metode Penelitian dalam AIED) Detail yang memadai mencakup pendekatan instruksional: tinjauan sistematis GenAI dalam pendidikan pemrograman hanya dapat mengode pedagogi untuk kurang dari separuh 46 studinya karena 26 tidak pernah menjelaskan apa yang mereka lakukan, dan detail yang dihilangkan penulis primer adalah detail yang tidak dapat dipulihkan sintesis di kemudian hari.
2. Ikuti protokol yang transparan. Pencarian, penyaringan, dan penilaian berpanduan PRISMA membuat tinjauan dapat direproduksi dan dapat dipertahankan.
3. Tafsirkan efek gabungan dengan hati-hati. Perhatikan heterogenitas, bias publikasi, dan mutu studi yang disertakan sebelum menarik kesimpulan kuat.
4. Pakai tinjauan untuk menyusun agenda. Celah yang terdokumentasi dalam tinjauan (kasus kegagalan, latar tempat kerja, karya non-Inggris dan tak terindeks, hasil jangka panjang) semestinya menuntun di mana penelitian primer baru dibutuhkan.(Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness)
5. Perlakukan moderator nol sebagai temuan. Ketika moderator kembali nol dan heterogenitas tetap tinggi, itu adalah bukti tentang keadaan bidangnya (ketidakkoherenan konstruk, pelaporan desain yang tipis) sama besarnya dengan tentang intervensinya, dan itu semestinya masuk ke narasi sintesis alih-alih dijatuhkan.(The Effects of K-12 Artificial Intelligence Education in Enhancing AI Literacy: A Meta-Analysis)(The Impact of Digital and Artificial Intelligence Technologies on the Improvement of Foreign Language Listening, Speaking, Reading and Writing Skills: A Meta-Analysis)
6. Nilai p moderator yang tidak dikoreksi bukanlah temuan. Khodjaev et al. (2026) melaporkan tiga dari tujuh moderator pada p < 0,05 tanpa koreksi, tidak satu pun bertahan setelah koreksi Holm, namun diskusi mereka menyebut hipotesis jenjang pendidikannya didukung pada padj = 0,233 (Khodjaev et al. (2026)). Laporkan nilai terkoreksinya atau laporkan moderatornya sebagai nol.

GenAI dalam Pembelajaran Skenario Layanan Kesehatan

• Tinjauan PRISMA 2020 atas GenAI dalam pembelajaran skenario layanan kesehatan. Neto dan kolega (2026) menelusuri lima basis data secara sistematis (9 Nov 2025) untuk studi GenAI yang ditelaah sejawat dalam pendidikan layanan kesehatan berbasis skenario, kasus, masalah, dan simulasi, menyaring 1.151 rekaman menjadi 23 studi yang disertakan dan dinilai dengan Mixed Methods Appraisal Tool (MMAT). Sintesis tematik mereka memunculkan enam tema lintas bidang yang berpangkal pada desain prompt sebagai spesifikasi instruksional, dan mendokumentasikan celah dalam standardisasi validasi, desain longitudinal/komparatif, serta kuantifikasi efisiensi — sebuah templat bagi tinjauan sistematis GenAI khas domain yang ketat.

Miskonsepsi Umum

• "Efek gabungan yang signifikan berarti intervensinya berhasil." Meta-analisis Yu dan kolega atas pendidikan AI K-12 (16 studi, 57 ukuran efek, g = 0,892) menemukan efek besar, meskipun para penulis memberi kualifikasi. Enam belas studi adalah basis yang sempit, dan efek besar di atas basis itu adalah hipotesis dengan interval yang lebar.
• "Peninjau melaporkan mutu bidangnya secara akurat secara default." Tugas sebuah tinjauan mencakup menyingkap mutu metodologis, dan tinjauan secara rutin menemukan bahwa bidang ini bersandar pada desain berdaya rendah, pra-eksperimental, atau kuasi-eksperimental dengan pascauji langsung. Angka gabungannya mewarisi kelemahan-kelemahan itu.
• "Pemaduan selalu menambah bobot pembuktian." Meta-analisis Chen dan Wei atas 40 studi untuk keterampilan bahasa asing memadukan teknologi yang sangat berbeda, dan rata-ratanya tidak menggambarkan satu pun intervensi spesifik yang dikandungnya.

Konsep terkait

• Menafsirkan dan Menerapkan Penelitian AIEd
• Metode Penelitian dalam AIED
• Uji Coba Terkendali Acak (RCT)
• Evaluasi AI dalam Pendidikan
• Penelitian Pendidikan Berbantuan AI — Penelitian Pendidikan Berbantuan AI
• Tolok Ukur
• Pengukuran Pendidikan
• Validitas Penilaian
• Perolehan Belajar
• Penilaian Sumatif
• AI dalam Pendidikan
• Pendidikan Tinggi
• Simulasi

Artikel terkait

• Integrating Generative Artificial Intelligence into Student Learning: A Systematic Review from a TPACK Perspective — Tinjauan sistematis GenAI dalam pembelajaran siswa dari perspektif TPACK

• A meta-analysis of the effect of generative AI on productivity and learning in programming — Meta-analisis efek GenAI terhadap produktivitas dan pembelajaran dalam pemrograman

• Artificial intelligence in vocational education and training: A systematic review of educational purposes, theoretical conceptualizations, and empirical effectiveness — Tinjauan sistematis pertama AI dalam pendidikan dan pelatihan kejuruan

• A systematic review of AI-powered collaborative learning in higher education: Trends and outcomes from the last decade — Tinjauan sistematis PRISMA atas pembelajaran kolaboratif berbantuan AI

• Generative AI in Higher Education: A Systematic Review of Opportunities, Challenges, and Pedagogical Innovations (2022–2025) — Tinjauan sistematis GenAI di pendidikan tinggi

• Comprehensive Review of Intelligent Tutoring Systems — Tinjauan sistematis komprehensif atas sistem tutor cerdas

• The cognitive impact of ChatGPT in higher education: A systematic review of critical and creative thinking outcomes — Tinjauan sistematis ChatGPT dan berpikir kritis/kreatif

• The Evidence Base on AI in K-12: A 2026 Review — Basis bukti AI di K-12

• AI Literacy Interventions in Education: A Meta-Analysis of Effects and Moderators — Meta-analisis efek intervensi literasi AI

• Effectiveness of GenAI in Enhancing Writing Performance: A Meta-Analysis — Meta-analisis penulisan L2 berbantuan GenAI: efek gabungan besar yang tergerus heterogenitas ekstrem dan moderator yang digerakkan mutu

• The AI Literacy Heptagon: A Structured Approach to AI Literacy in Higher Education — Tinjauan literatur integratif atas dimensi literasi AI (berpanduan PRISMA)

• Generative AI in Scenario-Based Healthcare Education: A Systematic Review of Applications, Validation Practices, and Pedagogical Integration — Tinjauan sistematis GenAI dalam pendidikan layanan kesehatan berbasis skenario (Neto et al. 2026)

• Mapping artificial intelligence integration in higher education: A systematic review using the FACETS and SAMR frameworks — Tinjauan pemetaan yang mengklasifikasikan 22 studi integrasi AI dengan FACETS + SAMR; sebagian besar berada pada Substitution/Augmentation

• Identifying the ethical values and norms for artificial intelligence in education: A systematic literature review — Nilai dan norma etis bagi AI dalam pendidikan

• A Systematic Review of Language Educators' Practices and Development with GenAI — Praktik dan pengembangan pendidik bahasa dengan GenAI

• Artificial intelligence to help people with dyslexia in education: An interdisciplinary literature review — AI untuk membantu penyandang disleksia dalam pendidikan

• Reinforcement Learning in Education: A Systematic Literature Review

• ChatGPT in Education: An Effect in Search of a Cause — ChatGPT dalam Pendidikan: Efek yang Mencari Sebab (kritik perbandingan media)

• Effect of Artificial Intelligence on Learning: A Meta-Meta-Analysis — Meta-meta-analisis: efek AI yang disesuaikan bias ~1/3 dari besaran yang dilaporkan

• Presumed Effective: The Manufacturing of an Evidence Base for AI-in-Education Through Flawed Meta-Analysis — Dianggap Efektif: audit forensik atas 14 meta-analisis AIED

• Teacher intervention in K-12 AI-based instruction: a systematic review of processes, strategies, and effects — Intervensi guru dalam pembelajaran berbasis AI di K-12: sebuah tinjauan sistematis

• The Impact of Digital and Artificial Intelligence Technologies on the Improvement of Foreign Language Listening, Speaking, Reading and Writing Skills: A Meta-Analysis — Meta-analisis alat digital dan AI untuk keterampilan bahasa asing: moderator desain lebih dari menggandakan estimasi efek kuasi-eksperimental

• The Impact of Generative Artificial Intelligence on Learning Outcomes in Higher Education: A Meta-Analysis — Meta-analisis GenAI di pendidikan tinggi: efek intervensi pendek kolaps seiring bertambahnya durasi

• The Effects of K-12 Artificial Intelligence Education in Enhancing AI Literacy: A Meta-Analysis — Meta-analisis pendidikan AI K-12: efek besar dengan moderator nol dan heterogenitas yang diatribusikan pada pengukuran

• Mapping Research on Generative Artificial Intelligence for Programming Education: A Systematic Review — Tinjauan sistematis GenAI dalam pendidikan pemrograman: pelaporan instruksional yang tipis pada 26 dari 46 studi

• Generative AI, Cognitive Offloading, and Learner Agency in Higher Education: A Scoping Review — Tinjauan cakupan 123 studi yang memetakan GenAI, ketergantungan kognitif, dan agensi pembelajar di pendidikan tinggi

• A meta-analysis of the effects of generative artificial intelligence on learning, cognitive, and linguistic outcomes — Meta-analisis efek kecerdasan artifisial generatif terhadap hasil pembelajaran, kognitif, dan linguistik

• Responsible student use of generative AI in academic writing: a scoping review of boundaries, educational approaches, and evidence gaps — Penggunaan GenAI secara bertanggung jawab oleh siswa dalam penulisan akademik: tinjauan cakupan atas batas, pendekatan pendidikan, dan celah bukti

• Artificial Intelligence in Embodied Learning: A Systematic Literature Review — AI dalam pembelajaran berwujud sebagian besar hanya mengamati: peran penginderaan 62,5% dari tag peran terkode, dan tidak ada sistem yang ditinjau memadukan aliran multimodal saat pembelajar memakainya (Kim & Han 2026)