Làm sao thiết kế lại đánh giá để điểm số vẫn cho tôi biết điều gì đó bảo vệ được về những gì sinh viên biết hoặc có thể làm?

Bản dịch máy tự động của trang tiếng Anh này, chưa được người bản ngữ xem xét.

Bạn có lẽ đang cầm một bài tập đã hiệu quả nhiều năm và nay trả về những bài làm bạn không bảo vệ được. Điểm ghi A; sản phẩm có thể phần lớn là của công cụ. Hoặc một sinh viên đang phản đối một điểm thấp với lý do bạn không kiểm tra được, hoặc chương trình của bạn đang viết lại chính sách đánh giá và hỏi bạn điều gì nên thay đổi trong môn học trước học kỳ sau.

Câu trả lời ngắn: quyết định điểm số là bằng chứng của điều gì, đưa ít nhất một bước vào bài tập mà sinh viên hoàn thành không có công cụ, và làm cho rubric trả giá cho lập luận chứ không chỉ cho sản phẩm. Việc thiết kế lại mà bỏ qua bước thứ hai và thứ ba thay đổi cách công việc được tạo ra mà không thay đổi điều điểm số có thể chống đỡ.

Tóm tắt

1. Viết ra điểm số đại diện cho năng lực nào. Làm việc độc lập, dùng AI một cách phù hợp, hay khả năng dẫn dắt và đánh giá AI là ba cấu trúc khác nhau, và một sản phẩm không thể là bằng chứng của cả ba.

2. Thêm một bước được xác thực vào mọi bài tập hệ trọng: một buổi kiểm vấn đáp ngắn, một bài áp dụng trong lớp, một trình diễn trực tiếp, hoặc một bản giải trình có chú giải. Một bước thường là đủ.

3. Đặt ranh giới AI theo từng bước của nhiệm vụ, không theo cả môn học. Kiểm kê điều sinh viên làm ở mỗi bước và hỏi cụ thể bạn đang đánh giá gì ở đó.

4. Đưa bằng chứng quá trình vào rubric với điểm thật. Nếu rubric vẫn chỉ thưởng cho sản phẩm, sinh viên sẽ tối ưu cho sản phẩm.

5. Giả định người sinh viên dễ bị cám dỗ che giấu nhất, không phải người tận tâm nhất, và xem quy định của bạn làm cho lựa chọn nào dễ nhất.

Quyết định điểm số là bằng chứng của điều gì

Bắt đầu bằng việc nêu rõ điểm số được cho là đại diện cho năng lực nào. Bạn đang đánh giá điều sinh viên làm được độc lập, điều họ làm được một cách phù hợp với AI, khả năng đánh giá và dẫn dắt AI của họ, hay một tổ hợp nào đó? Hiệu lực đánh giá của cơ sở kiến thức coi đây là vấn đề hiệu lực: một sản phẩm trau chuốt không còn là bằng chứng đủ rằng sinh viên có năng lực mà sản phẩm đó dường như thể hiện. Đây là nửa phía đánh giá của cùng lập luận; nửa phía cưỡng chế nằm ở Làm thế nào để giảm gian lận AI trong khóa học của tôi?, và khung hiệu lực chung chạy qua Giảng viên có thể dùng những thước đo và phương pháp nghiên cứu nào để đánh giá các can thiệp liên quan đến AI?.

Hãy nói câu trả lời trong đề cương, trong đề bài, và trong rubric. Sinh viên đọc ba tài liệu và tuân theo tài liệu cụ thể nhất. “Được phép dùng AI nếu ghi rõ nguồn” không phải một tuyên bố về điều bạn đang đo, và nó không cho sinh viên cách nào để biết liệu việc dùng được phép có làm suy yếu thứ bạn đang chấm hay không.

Rủi ro thay thế cấu trúc

Bài Từ sản phẩm chân thực đến quá trình được xác thực gọi rủi ro phát sinh là thay thế cấu trúc: người đánh giá quy một sản phẩm có AI trung gian cho sinh viên và vô tình đo năng lực của công cụ thay vì của sinh viên. Cách ứng phó được đề nghị là làm cho lập luận, phán đoán, kiểm chứng, lặp lại và trách nhiệm của sinh viên hiện ra qua những cách như nộp theo giai đoạn, giải trình quyết định có chú giải, bản ghi quá trình, tuyên bố sử dụng phản hồi, bảo vệ vấn đáp, và các dạng bằng chứng quá trình được xác thực khác.

Danh sách đó là một thực đơn, và mục nào rẻ nhất phụ thuộc quy mô lớp. Với một lớp 25 sinh viên, một buổi kiểm vấn đáp năm phút mỗi sinh viên cho mỗi bài tập lớn là khoảng hai giờ chấm bài mà có thể bạn vốn đã dành. Với một lớp giảng đường 300, nộp theo giai đoạn và giải trình có chú giải mở rộng được trong khi bảo vệ vấn đáp thì không, và kiểm vấn đáp lấy mẫu trên bài làm trông bất thường là thứ còn thực tế. Chọn phương án bạn vẫn duy trì được đến tuần thứ mười.

Đưa một bước được xác thực vào mọi bài tập

Trong thực tế, một kiến trúc đánh giá mạnh thường kết hợp một nhiệm vụ chân thực có AI hỗ trợ với một dạng kiểm chứng độc lập. Tùy ngành, có thể gồm một giải thích vấn đáp ngắn, áp dụng trong lớp, trình diễn trực tiếp, hồ sơ có chú giải, một thành phần ngắn không có trợ giúp, hoặc hỏi về các quyết định then chốt.

Khái niệm Đánh giá chân thực cũng nhấn mạnh công việc trí tuệ thực tế, thách thức nhận thức, tính tự chủ của sinh viên, phản hồi, và tính chân thực xã hội hoặc nghề nghiệp. Làm cứng một nhiệm vụ chống AI mà không làm nó đáng làm hơn chỉ để bạn với cùng bài đánh giá và thêm việc.

Đi qua bài tập từng bước và đặt ranh giới ở đó

Phương pháp cấp nhiệm vụ làm cho việc này khả thi là phương pháp McCorkle ghi lại: kiểm kê mọi bước sinh viên thực hiện, hỏi mỗi bước “cụ thể là tôi đang đánh giá gì?”, và suy ra ranh giới AI từ câu trả lời, cũng là cách những kỳ vọng đằng sau Làm thế nào để giảm gian lận AI trong khóa học của tôi? trở nên rõ ràng và có thể thực thi.

Chạy nó một lần trên bài tập gây tranh cãi nhất và viết kết quả vào đề bài. Một kết quả điển hình tách gọn: các bước truy hồi và soạn thảo đầu tiên là nơi cấu trúc sống và nơi công cụ gây thiệt hại, trong khi định dạng, kiểm tra tài liệu tham khảo, và biên tập ngôn ngữ là những bước mà việc dùng công cụ không hiện ra trong cấu trúc của bạn và có lẽ nên cho phép thẳng. Cả sự cho phép bao trùm lẫn lệnh cấm bao trùm đều thất bại vì câu trả lời thực sự khác nhau theo từng bước.

Làm cho rubric trả giá cho quá trình

Mohamed và Temimi đóng khung lại cùng vấn đề như một vấn đề thông tin không hoàn hảo chứ không phải đạo đức: sinh viên biết công việc được tạo ra thế nào và cơ sở chỉ thấy sản phẩm cộng những dấu vết một phần, nên câu hỏi thiết kế trở thành phản ứng nào của sinh viên mà mỗi môi trường đánh giá làm cho hấp dẫn nhất. Mô hình vùng phản ứng của họ so sánh ba lựa chọn, không dùng AI, dùng AI được công bố, và dùng giấu kín, và cho thấy quy định, giám sát, công bố, và thiết kế lại vận hành qua những kênh khác nhau và chỉ thành công khi phản ứng hấp dẫn nhất khớp với mục đích của bài đánh giá.

Hai kết quả liên quan trực tiếp đến kiến trúc. Răn đe chạy qua khả năng phân biệt của công cụ phát hiện giữa việc dùng giấu kín và bài làm hợp pháp, không phải qua tỉ lệ bắt thô, nên khi dương tính giả tăng nhanh hơn dương tính thật, giám sát mạnh hơn có thể làm cho việc che giấu trở nên hấp dẫn hơn một cách tương đối. Và thiết kế lại chỉ đẩy sinh viên về phía dùng có trách nhiệm khi rubric thực sự trả giá cho bằng chứng quá trình; nếu không nó vẫn chỉ là bề ngoài. Quy tắc thực dụng của họ là thiết kế cho sinh viên dễ bị cám dỗ che giấu nhất chứ không phải người tận tâm nhất.

Nếu một đoạn giải trình, một nhật ký sửa bài, hay một bài phản tư về một gợi ý AI bị từ chối không mang điểm nào, nó sẽ được viết trong năm phút và không ai đọc. Hãy cho bằng chứng quá trình đủ trọng lượng để sinh viên bỏ nó mất nhiều hơn được, và mô tả bằng chứng quá trình tốt trông thế nào với cùng độ cụ thể bạn dùng cho sản phẩm.

Biến thể nhiệm vụ theo từng sinh viên phụ thuộc năng lực, không miễn phí

Một kiến trúc không giám sát phổ biến là biến thể nhiệm vụ theo từng sinh viên, trong đó mỗi thí sinh nhận một phiên bản khác nhau về bề mặt nhưng tương đương về cấu trúc của cùng một nhiệm vụ để đáp án không thể chia sẻ hữu ích. VARIA, một điểm chuẩn gồm 600 biến thể được tạo trên 60 ô điều kiện, phát hiện các mô hình tiên tiến tụ chặt quanh một điểm liêm chính kết hợp (0.81-0.88) trong khi các tham chiếu không tiên tiến sụp xuống 0.50-0.55, và không có chiến lược viết prompt đơn lẻ nào tối ưu đồng thời tính đa dạng bề mặt và tính tương đương cấu trúc. Không thể giả định có biến thể ở quy mô chỉ nhờ viết prompt, nên một cơ sở nên kiểm định cặp mô hình và prompt của chính mình trước khi coi bảo đảm đó là thật.

Với một quyết định ở cấp môn học, điều đó nghĩa là một phép thử trước khi cam kết: tạo một tập biến thể từ một nhiệm vụ của chính bạn, nhờ một đồng nghiệp chấm hai biến thể cho cùng một năng lực, và so sánh. Nếu điểm lệch nhau giữa các biến thể, tuyên bố tương đương không đúng với nhiệm vụ của bạn và sự bảo vệ chống chia sẻ đáp án được trả giá bằng sự bất công.

Thiết kế lại hiếm khi xảy ra từng bài tập một

Trong một nghiên cứu định tính trên 12 giảng viên và 17 sinh viên ở một đại học lớn của Úc, Nicola-Richmond và cộng sự phát hiện cả hai nhóm đồng ý rằng đánh giá phải thay đổi nhưng nhấn mạnh ma sát hệ thống: thời gian chờ dài, ràng buộc kiểm định của lớp đông, khối lượng công việc và chi phí. Họ kết luận rằng thiết kế lại cần cả một cộng đồng, nghĩa là một nhóm cấp chương trình kết hợp chuyên môn về thiết kế đánh giá, AI sinh tạo, nội dung môn học, ngành và bằng chứng, với các điểm về năng lực GenAI và bảo đảm chuẩn đầu ra được đặt chiến lược xuyên suốt một văn bằng. Nếu bạn là một giảng viên với một môn học, phát hiện đó là lời cảnh báo về điều sẽ làm bạn chậm lại và là lý do để đưa trưởng chương trình vào cuộc trò chuyện đầu tiên thay vì cuối cùng.

Mục đích quan trọng ngang cơ chế. El Khoury và Ma lập luận rằng cải cách chỉ tổ chức quanh việc ngăn hành vi sai là quá phòng thủ và đề xuất đánh giá vui, an toàn, đáp ứng cảm xúc, trao quyền và hỗ trợ tính tự chủ của sinh viên, trong đó liêm chính là một hệ quả của thiết kế tốt chứ không phải điểm khởi đầu. Ví dụ của họ dùng một tác tử AI do giảng viên xây để sinh viên tập dượt trước khi bị đánh giá và để tạo một báo cáo bằng chứng khớp rubric, nhưng phân công lao động được nêu rõ: AI tổ chức bằng chứng, giảng viên diễn giải nó.

Những gì sẽ quay lại với bạn

“Tôi không có thời gian cho kiểm vấn đáp.” Vậy đừng chạy nó trên mọi thứ. Một thành phần được xác thực trong bài tập hệ trọng nhất, cộng một kiểm tra lấy mẫu trên bài làm trông không khớp với các lần nộp trước, giải quyết phần lớn rủi ro với một phần nhỏ chi phí. Những mục mở rộng được là nộp theo giai đoạn và giải trình có chú giải.

“Kiểm định và phê duyệt chương trình sẽ không dịch chuyển nhanh thế.” Nghiên cứu ở trên nêu thời gian chờ dài và ràng buộc kiểm định của lớp đông là ma sát trung tâm. Một môn học có thể thay đổi điều xảy ra bên trong một bài đánh giá hiện có mà không đổi tên, trọng số hay chuẩn đầu ra, và thường thế là đủ để bắt đầu.

“Việc này phạt sinh viên lo âu và sinh viên khuyết tật.” Có thể. Các thành phần vấn đáp trực tiếp cần điều chỉnh hỗ trợ được lên kế hoạch trước, một lựa chọn hình thức khi cấu trúc cho phép, và sự chú ý đến khác biệt ngôn ngữ và thiên lệch của người chấm. Hãy kiểm chứng năng lực, không phải điều kiện trình diễn.

“Chúng ta chỉ nên mua một công cụ phát hiện.” Kết quả về khả năng phân biệt chống lại việc biến nó thành xương sống của thiết kế: nếu dương tính giả tăng nhanh hơn dương tính thật, giám sát mạnh hơn làm việc che giấu trở nên hấp dẫn hơn một cách tương đối. Phát hiện có thể có chỗ trong một phản ứng đồng thời thiết kế lại nhiệm vụ, và Chúng ta có nên dùng công cụ phát hiện AI? bao phủ lập luận đó.

“Sinh viên nào cũng sẽ dùng AI.” Họ sẽ dùng, và câu hỏi thiết kế là bài tập của bạn làm cho phản ứng nào dễ nhất. Nếu việc công bố không tốn gì cho sinh viên và rubric trả giá cho quá trình, phần lớn họ chọn công bố; nếu công bố mời gọi sự nghi ngờ, che giấu trở thành lựa chọn hợp lý.

Việc cần làm trong tuần này

1. Viết một câu nêu năng lực mà bài tập lớn tiếp theo của bạn chấm. Đặt nó vào đề bài.

2. Chọn bước được xác thực rẻ nhất mà bạn duy trì được, và thêm nó vào bài tập đó.

3. Kiểm kê các bước của bài tập và đánh dấu mỗi bước có mang cấu trúc hay không. Cho phép AI ở nơi không mang, hạn chế ở nơi có mang.

4. Thêm bằng chứng quá trình vào rubric với điểm kèm theo, và nói thế nào là tốt.

5. Mang thay đổi đó tới trưởng chương trình và tới bất kỳ phòng nào phê duyệt các điều chỉnh hỗ trợ, trước khi học kỳ bắt đầu chứ không phải sau lần khiếu nại đầu tiên.

Đi tiếp từ đây

Lập luận về hiệu lực đằng sau cả trang này nằm ở Assessment Validity; trang đồng hành phía cưỡng chế là Làm thế nào để giảm gian lận AI trong khóa học của tôi?, với Làm thế nào để tôi viết chính sách AI cho khóa học và truyền đạt nó tới sinh viên? bên cạnh. Thực hành tốt nhất khi dạy viết trong bối cảnh AI là gì? bao phủ cách diễn đạt mà sinh viên thực sự tuân theo, và Giảng viên có thể dùng những thước đo và phương pháp nghiên cứu nào để đánh giá các can thiệp liên quan đến AI? bao phủ liệu công cụ bạn đang thiết kế quanh nó có hoạt động không.