Làm sao biết một AI giáo dục đang hoạt động đúng, chứ không chỉ cho điểm cao?

Bản dịch máy tự động của trang tiếng Anh này, chưa được người bản ngữ xem xét.

Một báo cáo đánh giá của nhà cung cấp đến với một con số ở đầu: mức khớp với người chấm, 0.84. Hoặc đợt thí điểm của bạn kết thúc vào thứ Sáu và bằng chứng chỉ gồm một khảo sát hài lòng cộng một dòng điểm chuẩn chép từ ghi chú phát hành của mô hình. Trong cuộc họp ai đó hỏi hệ thống có hoạt động không, và bạn có một con số nghe như câu trả lời.

Câu trả lời ngắn: những điểm số bạn thấy thường xuyên nhất đo sự giống nhau, và sự giống nhau là một tuyên bố yếu hơn “cái này dạy học” hoặc thậm chí “phản hồi này đọc được”. Hãy quyết định mỗi con số được phép chứng minh gì, chấm điểm từng đầu ra hệ thống của bạn tạo ra, và biến độ chính xác thành một quy tắc có ngưỡng, có người, và có khoản tiết kiệm kèm theo. Một con số không ai hành động được không phải bằng chứng.

Tóm tắt

1. Viết một câu nêu điều bạn quan tâm, rồi chọn thước đo đọc được đúng thứ đó. Trùng lặp từ ngữ sẽ không cho bạn biết lập luận có đúng không.

2. Đánh giá từng đầu ra riêng. Một điểm chấm bài mạnh không nói gì về mô-đun phản hồi bên cạnh nó.

3. Cho một người chấm khoảng năm mươi đầu ra và so sánh những đánh giá đó với bộ kiểm tra tự động của bạn. Ở chỗ hai bên bất đồng, bộ kiểm tra là thứ đang bị thử.

4. Thay “độ chính xác 0.84” bằng một quy tắc: dưới mức tin cậy này, một người đọc phản hồi. Báo cáo ngưỡng, phần việc tiết kiệm được, và mức khớp đã trở thành bao nhiêu.

5. Kiểm tra an toàn trên cả cuộc trò chuyện, và kiểm tra mọi sinh viên mô phỏng trước khi tin điều nó nói về gia sư của bạn.

Quyết định con số được phép chứng minh gì

Hai họ con số chi phối tài liệu này. Cả hai đo đầu ra của bạn giống một thứ khác đến đâu, và đó là tuyên bố yếu hơn tính đúng đắn.

Điểm tương đồng (ROUGE và BLEU) so sánh cách diễn đạt câu trả lời của hệ thống bạn với cách diễn đạt của một câu trả lời tham chiếu. Một mô hình viết ra thứ gần với văn bản mong đợi sẽ được điểm cao, ngay cả khi lập luận của nó sai, hoặc khi sinh viên có thể đến đáp án đúng bằng một con đường không dạy được gì.

Điểm khớp (QWK, kappa trọng số bậc hai) đo điểm của mô hình khớp với điểm của người đến đâu. Một mô hình có thể khớp với người chấm về điểm cuối cùng trong khi sai về lý do, và lý do là phần sinh viên học được.

Sinh viên có thể đến một đáp án sai bằng con đường sai trông như đúng, và không điểm tương đồng nào nhận ra. Nếu lập luận là thứ bạn quan tâm, thước đo phải đọc được nó: một rubric do người áp dụng, hoặc một phép kiểm viết riêng cho bước đó.

Trợ lý môn Hệ thống điều khiển tuyến tính báo cáo điều này đúng cách. Cấu hình tốt nhất của nó đạt điểm tương đồng 0.4093 so với câu trả lời tham chiếu, với mức cải thiện được đo là khác không một cách đáng tin cậy, và các tác giả nói rõ rằng những con số đó đo cách diễn đạt và định dạng (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). Điểm số không ấn tượng và bài báo vẫn hữu ích, vì nó nói rõ điểm số đó bao phủ điều gì.

Chấm điểm từng đầu ra riêng biệt

Trong dự án WrAFT, một mô hình được tinh chỉnh đạt điểm khớp 0.84 với người chấm trên 360 bài luận TOEFL để riêng. Đó là kết quả mạnh cho việc chấm điểm. Mô hình của cùng dự án được huấn luyện để viết phản hồi lại tạo ra đầu ra bị cắt cụt và không phân tích được, trong khi chỉ cần dùng prompt cho một mô hình khác thì tạo ra phản hồi được giáo viên ưa hơn (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays).

Cơ sở kiến thức ghi lại cùng thất bại ở dạng thứ hai: một triển khai có mô-đun chấm điểm đạt điểm tốt và phần phản hồi đến bị cắt giữa câu, không đọc được. Không gì trong con số nổi bật nói lên điều đó.

Vậy hãy liệt kê các đầu ra hệ thống của bạn tạo ra, rồi cho mỗi thứ một thước đo và một điều kiện đạt riêng. Chấm điểm, văn bản phản hồi, chọn gợi ý, và từ chối vì an toàn thất bại theo những cách khác nhau, và điểm ở cấp mô-đun không nhìn được ra ngoài mô-đun của chính nó.

Đặt con người ở nơi mô hình không chắc chắn

Một tương quan cho bạn biết mô hình thường đúng. Nó không cho bạn biết phải làm gì trong những lần nó không đúng. Kết quả định tuyến theo độ tin cậy là mẫu gọn nhất trong cơ sở kiến thức, và đủ ngắn để chép.

Độ tin cậy hóa ra là dấu hiệu cảnh báo đáng tin: khi mô hình không chắc chắn, nó dễ sai hơn (β = -0.602, p < .001). Nhóm nghiên cứu gửi 20% phản hồi kém tự tin nhất cho một người. Chỉ quy tắc đó nâng mức khớp với điểm của người từ 0.78 lên 0.82 và cắt khoảng 80% việc chấm thủ công (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment).

Hãy nhìn báo cáo chứa gì: một ngưỡng, một người, và một khoản tiết kiệm. “Mức khớp 0.84” không chứa gì trong số đó, nên khó hành động theo và dễ tranh cãi.

Kiểm tra bộ kiểm tra tự động của bạn bằng con người

Nhiều nhóm nay dùng một mô hình thứ hai để đánh giá mô hình thứ nhất. Cách sắp xếp này hợp lý và mô hình thứ hai không tự động đúng.

Một nghiên cứu cho một mô hình tiên tiến viết gợi ý cho một hệ gia sư thông minh phát hiện khoảng 35% trong số đó quá chung chung, sai, hoặc làm lộ đáp án, và các phép kiểm chất lượng tự động của chính mô hình bất đồng với phán đoán của con người về việc gợi ý nào tệ (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).

Phiên bản thực dụng: lấy một mẫu khoảng năm mươi đầu ra, cho một người chấm, và so sánh với đánh giá của bộ kiểm tra. Ở chỗ hai bên lệch nhau, bạn đã học được điều gì đó về bộ kiểm tra. Giữ mẫu và bảng bất đồng, vì nó cũng là thứ trả lời một người bình duyệt hỏi bạn biết bằng cách nào.

Đo chính đại lượng đó khi nhiệm vụ cho phép

Cách sửa gọn nhất là huấn luyện mô hình trên đúng đại lượng bạn định đo. Một mô hình được tinh chỉnh được huấn luyện để tái tạo các thuộc tính thống kê của câu hỏi kiểm tra: mỗi câu khó đến đâu, nó phân tách sinh viên mạnh với sinh viên yếu tốt đến đâu. Nó học những mô thức đó thay vì được nói cho biết (Multimodal Item Parameter Estimation using Simulated Response Probabilities). Vì mục tiêu là một thuộc tính của chính bài đánh giá, việc đánh giá có thể nói về thuộc tính đó thay vì về cách diễn đạt.

Báo cáo cả quá trình tiến triển lẫn điểm cuối. Trình mô phỏng viết của SWIM công bố điểm của từng giai đoạn cạnh nhau: prompt dựa trên rubric 0.577, tinh chỉnh 0.474 ± 0.023, học tăng cường 0.618 ± 0.005 (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation). Người đọc có thể thấy từ bảng đó liệu việc huấn luyện có làm được gì. Một con số cuối cùng duy nhất không cho họ biết, và nó che giấu một giai đoạn nơi mô hình tinh chỉnh làm kém hơn prompt.

So sánh với một thứ bên ngoài dự án của bạn

Trước tiên hãy lấy một đường cơ sở, kể cả một đường rẻ. Mô hình của trợ lý môn học không có neo ngữ cảnh đạt điểm dưới một tìm kiếm từ khóa đơn giản, đúng kiểu kết quả làm thay đổi lộ trình và chỉ tốn một ngày để tìm ra.

Một điểm chuẩn bên ngoài sau đó cho bạn biết con số của mình có tốt chút nào không. Trên điểm chuẩn sư phạm CDPK, EduQwen đạt 96.52% so với 90.55% của Gemini-3 Pro (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). Pedagogy Benchmark, xây từ các kỳ thi phát triển chuyên môn thật của giáo viên và bao phủ 97 mô hình, tìm thấy độ chính xác trải từ 28% đến 89% (Lelièvre và cộng sự, 2025).

Trong một nhiệm vụ về dạy học, các mô hình trải từ kém đến tốt, nên một kết quả điểm chuẩn đặt hệ thống của bạn vào đâu đó trong một dải rộng.

Kiểm tra an toàn trên cả một cuộc trò chuyện

Phần lớn việc kiểm tra an toàn chỉ kiểm một lượt trao đổi. Những tác hại quan trọng trong gia sư tích lũy dần. SafeTutors phát hiện ngay cả những mô hình được xây riêng để dạy cũng suy giảm qua một cuộc trò chuyện dài và có thể tiết lộ đáp án lẽ ra phải giữ lại (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems).

Chạy phép kiểm trên những cuộc trò chuyện trọn vẹn, và viết các lượt kiểm một cách có chủ ý: sinh viên sai, người cứ đẩy tới, người cố nói cho mô hình ra khỏi vai trò của nó. Một gia sư giữ được mười lượt và gục ở lượt thứ mười một là trượt phép kiểm quan trọng, và một bộ kiểm theo từng phản hồi sẽ chấm nó là sạch.

Kiểm tra sinh viên mô phỏng trước khi tin nó

Tạo sinh viên mô phỏng thay vì tuyển sinh viên thật làm cho việc đánh giá rẻ hơn nhiều. Sinh viên mô phỏng cũng là một dụng cụ đo, và nó có thể sai theo những cách dụng cụ sai: quá hợp tác, quá trôi chảy, quá nhanh chấp nhận một gợi ý.

Phép kiểm trực tiếp nhất trong cơ sở kiến thức đối chiếu sinh viên mô phỏng và sinh viên được prompt với 382 cuộc đối thoại để riêng từ bộ sưu tập công khai lớn nhất các cuộc đối thoại toán học thật giữa sinh viên và gia sư, dùng bảy thước đo bao phủ ngôn ngữ, hành vi và tư duy (Simulated Students in Tutoring Dialogues: Substance or Illusion?). Công trình khác đẩy tính chân thực từ các hướng khác: INSIDE huấn luyện mô hình vừa hành động vừa suy nghĩ như sinh viên, và hồ sơ có nhận biết lịch sử đặt điều kiện mô phỏng trên quá khứ của một sinh viên thay vì một nhân dạng cố định (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues).

Nếu bộ khung của bạn là một sinh viên mô phỏng, hãy kiểm định trình mô phỏng với bản ghi thật trước khi để nó chấm gia sư của bạn.

Các nhóm đánh giá hiểu sai điều gì

Điểm khớp cao nghĩa là hệ thống đúng. Không: nó nghĩa là hệ thống chấm giống người chấm bạn đã so sánh, trên những bài luận bạn đã so sánh. Con số 0.84 của WrAFT đi kèm phản hồi không phân tích được.

Một con số có thể đứng thay cho cả sản phẩm. Các nhóm xuất xưởng một bảng điều khiển với “độ chính xác 0.84” ở góc và không có ô nào cho mô-đun phản hồi, chính sách gợi ý, hay hành vi từ chối. Điểm ở cấp mô-đun là con số dễ tính nhất và là thứ ít thông tin nhất để báo cáo.

Một điểm chuẩn bên ngoài giải quyết liệu công cụ có hoạt động. Dải 28% đến 89% của Pedagogy Benchmark nói rằng họ nhiệm vụ này khó và được phục vụ không đồng đều. Vị trí của bạn trong dải đó là sự thật về mô hình của bạn. Điều sinh viên của bạn làm được sau đó là một sự thật khác.

Một mô hình đánh giá một mô hình là thứ thay thế rẻ cho đánh giá của con người. Nó rẻ. Con số 35% và sự bất đồng về việc gợi ý nào tệ mô tả điều một giám khảo chưa từng được kiểm tra sẽ để lọt qua.

Sinh viên mô phỏng làm cho việc đánh giá miễn phí. Chúng làm nó rẻ, và chúng dời chi phí sang khâu kiểm định. Phép so sánh 382 cuộc đối thoại tồn tại vì dụng cụ cần được hiệu chuẩn.

Những gì sẽ quay lại với bạn

“Chúng tôi không có người gán nhãn cho việc này.” Năm mươi đầu ra được chấm là đủ để bắt đầu. Tự chấm nếu không ai rảnh, và giữ lại bảng.

“Điểm chuẩn của chúng tôi vượt Gemini.” Đúng, trên CDPK, với những prompt mà điểm chuẩn đó dùng. Hãy đặt thước đo không có trợ giúp bên cạnh.

“Giám khảo tự động của chúng tôi khớp với người chấm của chúng tôi.” Vậy bạn có một tương quan trên một mẫu. Hãy hỏi nó bất đồng ở những đầu ra nào và đọc những cái đó, vì thất bại sống ở đó.

“Chúng tôi không thể chạy đánh giá đầy đủ trước khi ra mắt.” Hãy chạy ba thứ rẻ: một đầu ra được chấm riêng, năm mươi đầu ra được một người chấm, một lượt an toàn dài bằng cả cuộc trò chuyện. Những mục đắt có thể theo sau đợt thí điểm.

“Hệ thống chỉ là bản demo, nên đánh giá là sớm.” Bản demo là chỗ rẻ nhất để phát hiện rằng con số của bạn đo cách diễn đạt. Khi đã có lộ trình gắn vào nó, cùng phát hiện đó tốn hơn để hành động.

Việc cần làm trong tuần này

1. Viết câu tuyên bố một câu mà việc đánh giá của bạn phải chống đỡ. Đặt nó ở đầu tài liệu đánh giá.

2. Liệt kê mọi đầu ra hệ thống tạo ra và cho mỗi thứ một dòng, một thước đo và một điều kiện đạt.

3. Lấy năm mươi đầu ra, tự chấm, và đặt đánh giá của bạn bên cạnh đánh giá của bộ kiểm tra.

4. Tính phân bố độ tin cậy và viết quy tắc định tuyến có một con số trong đó, cộng tên người đọc những gì rơi xuống dưới.

5. Chạy một cuộc trò chuyện an toàn trong đó sinh viên sai, phản đối hai lần, và xin đáp án.

Đi tiếp từ đây

Làm thế nào để chúng ta làm cho AI hỗ trợ việc học tốt hơn trong chính môn học của mình? bao phủ phía thiết kế của cùng vấn đề. Làm sao huấn luyện một gia sư AI để hướng dẫn sinh viên thay vì trả lời họ? xử lý con đường huấn luyện để có hành vi gia sư, và Giảng viên có thể dùng những thước đo và phương pháp nghiên cứu nào để đánh giá các can thiệp liên quan đến AI? là phiên bản hướng tới giảng viên của câu hỏi này, với Thực hành tốt nhất để báo cáo và diễn giải nghiên cứu về AI trong giáo dục là gì? là phiên bản hướng tới nghiên cứu. Các phương pháp nằm dưới AI Ed Evaluation và LLM Training and Fine-Tuning.