FAQ
Giảng viên có thể dùng những thước đo và phương pháp nghiên cứu nào để đánh giá các can thiệp liên quan đến AI?
Bản dịch máy tự động của trang tiếng Anh này, chưa được người bản ngữ xem xét.
Bạn đã chạy thí điểm ở hai lớp, thu về một bảng khảo sát cuối bài, và có một cuộc họp khoa trong ba tuần nữa nơi ai đó sẽ hỏi liệu nó có hiệu quả không. Hoặc một người phản biện đã hỏi điều kiện so sánh của bạn là gì, và lớp còn lại đã làm một việc khác. Dù thế nào: điều gì sẽ được tính là bằng chứng ở đây?
Hãy khớp phương pháp với tuyên bố. Một bảng khảo sát cho bạn biết sinh viên có thích hoạt động đó hay không. Việc họ có học được hay không cần một thước đo kết quả biểu hiện, và việc AI có gây ra mức tăng đó hay không cần một điều kiện so sánh.
Tóm tắt
1. Viết tuyên bố trong một câu, có nêu rõ kết quả đầu ra. “Sinh viên dùng gia sư đạt điểm cao hơn trong bài thi không có hỗ trợ” là kiểm chứng được.
2. Chạy một đường cơ sở, can thiệp, một thước đo ngay sau can thiệp, và một thước đo về sau được thực hiện mà không có AI.
3. Mô tả điều kiện so sánh cẩn thận như mô tả can thiệp, kể cả khi đó là cách làm hiện có của bạn.
4. Đo kết quả biểu hiện có hỗ trợ và việc học độc lập riêng rẽ, và coi mọi mức trung bình đã công bố là một giả thuyết về lớp của bạn.
Chọn phương pháp mà câu hỏi của bạn có thể chịu được
Trang Phương pháp nghiên cứu trong AIED trình bày mỗi lựa chọn mang lại gì. Thử nghiệm ngẫu nhiên cho suy luận nhân quả mạnh nhất. Thiết kế bán thực nghiệm trước và sau hoặc ghép nhóm phù hợp với các lớp nguyên vẹn và hỗ trợ những tuyên bố yếu hơn. Nghiên cứu định tính qua phỏng vấn, thảo luận nhóm, quan sát và phân tích sản phẩm làm sáng tỏ cơ chế và những trải nghiệm bất ngờ. Phương pháp hỗn hợp ghép bằng chứng về kết quả với một lời giải thích. Nghiên cứu dựa trên thiết kế phù hợp với một giảng viên đang tinh chỉnh một can thiệp qua nhiều vòng lặp.
Việc phân tích định tính có AI hỗ trợ thuộc vào danh sách đó kèm một điều kiện. Nó tổ chức lại một tập dữ liệu phỏng vấn trong vài phút, nên khả năng biện minh quan trọng ngang với độ chính xác: hãy ghi lại những lần tổ chức lại đã được ghi chép để người đọc có thể kiểm tra, phản biện và sửa lại con đường đi từ dữ liệu đến tuyên bố.
Một bảng khảo sát là một thước đo tự báo cáo: đúng cho thái độ, sai cho việc học.
Đặt tên cho điều kiện so sánh
Ba điều kiện khiến một tuyên bố nhân quả có thể diễn giải được: một can thiệp được mô tả chính xác, một điều kiện so sánh được định nghĩa rõ, và một thước đo hợp lệ về việc học bền vững. Weidlich và các cộng sự (2025) rà soát 19 nghiên cứu so sánh ChatGPT trong giáo dục đối chiếu với các tiêu chí đó. Bốn nghiên cứu (21%) đáp ứng cả ba. Can thiệp được định nghĩa rõ trong 74%, nhóm đối chứng trong 42%, kết quả đầu ra đủ tiêu chuẩn là việc học trong 53%.
Kiểu thất bại này rất dễ tái diễn. Một công cụ đa dụng được đưa vào cùng với những hoạt động mới, phản hồi mới, hoặc một giao diện được thiết kế lại sẽ gây nhiễu giữa phương tiện và phương pháp, và kết quả có ý nghĩa thống kê thuộc về phần thiết kế lại.
Đo những kết quả bạn thực sự quan tâm
Bản tổng hợp Đánh giá AI trong giáo dục khuyến nghị mức tiến bộ học tập không có hỗ trợ, khả năng ghi nhớ sau một thời gian, chuyển giao sang nhiệm vụ mới, chất lượng lập luận, những hiểu lầm, mức độ tiếp nhận phản hồi, và kết quả của từng nhóm. Mức độ tham gia, sự hài lòng, nhật ký dùng AI, niềm tin vào năng lực bản thân, và mức độ hữu ích được cảm nhận là những thước đo phụ hợp lý và là những thứ thay thế kém cho việc học. Khối lượng công việc và thời gian tiết kiệm được tính là kết quả triển khai, một câu hỏi khác.
Mức tối thiểu ở quy mô lớp học là một đường cơ sở, can thiệp, một thước đo ngay sau can thiệp, và một thước đo không có hỗ trợ về sau. Hãy thêm một điều kiện so sánh khi bạn có thể: cách làm hiện có, không dùng AI, dùng AI không hạn chế so với dùng AI có giàn giáo, hoặc hai thiết kế thay thế. Hãy chấm điểm kết quả biểu hiện có hỗ trợ và không có hỗ trợ bằng hai công cụ riêng biệt, vì một rubric duy nhất sẽ trộn lẫn chúng.
Đọc mọi con số như một giả thuyết
Một hiệu ứng trung bình từ tài liệu là một chỉ dẫn yếu cho một lớp học cụ thể. Bài rà soát của O'Neill (2026) trên 14 phân tích tổng hợp có tác động lớn phát hiện rằng không bài nào cung cấp một cơ sở hợp lệ cho các tuyên bố của mình. Việc gộp “thành tích học tập” trộn điểm kiểm tra, động cơ, niềm tin vào năng lực bản thân và thái độ vào một ước lượng duy nhất. Độ không đồng nhất ở mức cực đoan: I² chạy từ 77.2% đến 94.4% trong 13 phân tích có báo cáo chỉ số này, và 12 trong số đó nằm trên 80%. Cả 14 phân tích đều đánh giá thiên lệch công bố một cách không hợp lệ, và 61% các nghiên cứu sơ cấp được rà soát ngẫu nhiên mắc các vấn đề về giá trị. Bốn phân tích báo cáo phương sai giữa các nghiên cứu, hai báo cáo khoảng dự báo, và cả hai khoảng đều bao gồm số không.
Một điểm số tiện lợi có thể đo sai cấu trúc. Trong một đánh giá tám tác nhân AI giảng dạy, tác nhân xếp thứ ba trên điểm số của chính nền tảng lại xếp cuối trên một rubric đã được chuyên gia kiểm chứng, vì điểm số của nền tảng phản ánh kết quả biểu hiện của sinh viên trong lúc tương tác. Hãy coi một chỉ số trên bảng điều khiển là một giả thuyết.
Giảng viên hiểu sai điều gì
Một bảng khảo sát mức độ hài lòng đo được việc học. Nó đo sự hài lòng, thứ mà bản tổng hợp Đánh giá AI trong giáo dục liệt kê như một thước đo phụ bên cạnh các kết quả học tập.
Một mức tăng trước và sau cho thấy can thiệp đã hiệu quả. Nó cho thấy điểm số đã tăng. Việc thước đo đó có được tính là việc học hay không là một câu hỏi riêng, và bài rà soát tìm thấy một kết quả đầu ra đủ tiêu chuẩn là việc học trong 53% các so sánh mà nó xem xét.
Các cỡ hiệu ứng đã công bố chuyển được sang lớp của tôi. 14 phân tích tổng hợp của O'Neill không thể chống đỡ các tuyên bố được xây trên chúng, và cả hai khoảng dự báo được báo cáo đều bao gồm số không.
Số liệu phân tích của nền tảng đo được chất lượng giảng dạy. Tác nhân xếp thứ ba của Zhang lại xếp cuối trên rubric của chuyên gia.
Những gì sẽ quay lại với bạn
“Chúng tôi đã có đánh giá cuối khóa học rồi.” Chúng đo khóa học, và chúng diễn ra sau học kỳ mà bạn cần câu trả lời.
“Một nhóm so sánh là bất khả thi trong một lớp nguyên vẹn.” Hãy so sánh với phiên bản năm ngoái của chính bài tập đó, hoặc với một lớp thứ hai, và mô tả sự khác biệt một cách trung thực. Thiết kế bán thực nghiệm yếu hơn, và vẫn có ích khi lựa chọn thay thế là một tuyên bố không có so sánh nào.
“Cỡ hiệu ứng trong phân tích tổng hợp là lớn.” Trên kết quả đầu ra nào, trong lớp của ai? Cả hai khoảng dự báo mà O'Neill tìm thấy đều bao gồm số không.
“Bảng điều khiển của chúng tôi cho thấy mức độ tham gia cao.” Mức độ tham gia là một thước đo phụ trong danh sách của Đánh giá AI trong giáo dục. Hãy đặt thước đo việc học không có hỗ trợ bên cạnh nó.
Việc cần làm trong tuần này
1. Viết tuyên bố của bạn thành một câu và gạch chân kết quả đầu ra.
2. Thêm thước đo không có hỗ trợ về sau vào lịch, sau can thiệp và không phải trong cùng tuần.
3. Viết một đoạn mô tả điều kiện so sánh, với độ chi tiết như mô tả can thiệp.
4. Lấy các con số nền tảng bạn đã có và đánh dấu từng con số là kết quả của sản phẩm hay kết quả của việc học.
5. Nhờ một đồng nghiệp đọc thiết kế và nói xem còn điều gì khác đã thay đổi trong học kỳ.
Đi tiếp từ đây
AI có giúp sinh viên học không? tóm tắt những gì bằng chứng về kết quả cho thấy, và Những lỗ hổng nghiên cứu trong AIED đề cập nơi bằng chứng mỏng đi. Làm sao chúng ta biết một hệ thống AI giáo dục đang hoạt động đúng? là phiên bản của câu hỏi này dành cho những người xây dựng hoặc mua một hệ thống.