Bằng chứng về các biện pháp can thiệp năng lực AI trong giáo dục đại học là gì?

Bản dịch máy tự động của trang tiếng Anh này, chưa được người bản ngữ xem xét.

Văn phòng hiệu trưởng học vụ muốn có một kết quả đầu ra về năng lực AI trong mọi chương trình đại học vào mùa thu tới, và kế hoạch đang đặt trên bàn là một buổi tập huấn hai giờ cộng với một mô-đun hướng dẫn của thư viện. Hoặc một khoản tài trợ đã cấp tiền cho “năng lực AI” ở cơ sở của bạn và cuộc họp ủy ban đầu tiên là về việc mua gì với số tiền đó. Sẽ có người trong phòng hỏi sinh viên sẽ làm được gì sau đó, và điều quyết định câu trả lời là một lập luận về thiết kế.

Câu trả lời cho căn phòng đó, và tình trạng bằng chứng trong giáo dục đại học, là thế này: năng lực phát triển khi sinh viên phê phán đầu ra của AI bên trong một nhiệm vụ chuyên ngành thật, lặp đi lặp lại, cùng bạn học, và nó phát triển ít nhất khi họ chỉ được cho xem công cụ làm được gì. Hiệu ứng trung bình trên toàn bộ tài liệu về can thiệp là lớn; độ phân tán quanh mức trung bình đó còn rộng hơn, nên thiết kế của bạn quyết định nhiều hơn chủ đề của bạn. Các khảo sát về sự tự tin đo mức chấp nhận. Nếu bạn muốn tuyên bố có năng lực, hãy kiểm tra một phần thực hiện.

Tóm tắt

1. Đặt năng lực đó vào bên trong một khóa học sinh viên vốn đã học, trên bài làm họ vốn đã được chấm điểm.

2. Để họ cam kết với câu trả lời của chính mình trước khi xem câu trả lời của mô hình.

3. Chấm điểm phần phê phán, bằng chính rubric bạn vốn dùng cho nhiệm vụ đó.

4. Chạy nó nhiều hơn một lần trong học kỳ.

5. Lấy một nhiệm vụ thực hiện làm bằng chứng của bạn, và giữ các mức tăng về tự tin thành một dòng riêng.

Xây chuỗi hoạt động quanh một bài phê phán

Ví dụ lớp học mạnh nhất trong cơ sở tri thức đến từ tâm lý học bậc đại học. Richmond và Nicholls cho sinh viên chấm một thông cáo báo chí do ChatGPT tạo ra theo chính rubric của khóa học, gọi tên các lỗi, và sửa lại nó. Sinh viên nói chung thấy rằng văn xuôi thì bóng bẩy và nội dung thì trình bày sai mục tiêu, phương pháp và kết quả của nghiên cứu. So với khóa trước dùng đánh giá đồng đẳng, nhóm phê phán AI làm tốt hơn một chút ở phần sửa kịch bản tiếp theo (d = 0.36), không có lợi thế có ý nghĩa ở video cuối cùng (Using Generative AI to Promote Psychological, Feedback, and Artificial Intelligence Literacies in Undergraduate Psychology).

Tài liệu mà những ví dụ này đến từ đó dựa vào các can thiệp ngắn, tự báo cáo, và nghiên cứu dựa trên thiết kế, và nghiên cứu này mang hai trong số những giới hạn đó. Việc so sánh là so với dữ liệu lịch sử, nên một khóa được chuẩn bị tốt hơn cũng sẽ tạo ra cùng khuôn mẫu đó. Lợi thế cũng xuất hiện ở sản phẩm trung gian và biến mất ở sản phẩm hoàn chỉnh, đúng như điều bạn sẽ kỳ vọng nếu bài phê phán dạy được kỹ năng sửa bài.

Beck và Brodersen đưa cùng động tác đó vào một khóa kinh tế: sinh viên tự giải hoặc diễn giải một vấn đề thực tế, rồi lấy câu trả lời của ChatGPT, so sánh hai bên, phê phán AI, suy ngẫm và thảo luận với bạn học. Thiết kế của họ gộp năng lực AI vào những thói quen học tập chủ động mà khóa học vốn đã chạy, như Think-Pair-Share. Đóng góp của nó là một thiết kế giảng dạy có thể chuyển giao, được hỗ trợ bởi việc dùng trong lớp học chứ không phải bởi một thực nghiệm (Fostering Generative AI Literacy in Economics: A Hands-on Approach).

Đặt nó vào trong một khóa học sinh viên vốn đã học

Tổng quan hệ thống của Hingle và Johri phân loại các hoạt động năng lực AI theo khung ICAP: tiếp xúc thụ động, thao tác chủ động, tạo dựng kiến tạo, và đồng kiến tạo tương tác. Các can thiệp xuất hiện ở cả bốn chế độ, và tổng quan lập luận chống lại việc rút năng lực AI xuống thành một buổi cung cấp thông tin một chiều (Systematic Review of Collaborative Learning Activities for Promoting AI Literacy). Những thực hành mà nó ủng hộ là những thực hành bạn có thể đưa vào một bài tập: sinh viên tạo, phê phán, giải thích và tranh luận về đầu ra của AI cùng bạn học.

AI Literacy Continuum của NC State mô tả một tiến trình từ Chưa tham gia và Sử dụng thiếu phê phán qua Sử dụng có hiểu biết, Đánh giá phê phán, và Cải thiện, và đã được triển khai với hơn 330 người tham gia qua các khóa học và buổi tập huấn (Beyond Tool Adoption: A Practical Five-Stage Developmental Continuum for AI Literacy in Higher Education). Các quan sát của nó gợi ra một sự phân đôi: những trải nghiệm ngắn đưa sinh viên tới việc sử dụng có hiểu biết, trong khi đánh giá phê phán và cải thiện chủ yếu xuất hiện ở những công việc bền bỉ, gắn với chuyên ngành. Không có thước đo trước và sau đã được kiểm chứng và không có nhóm so sánh, nên đây là bằng chứng dựa trên thực hành.

Giáo dục sư phạm cho thấy cùng mức trần đó từ một góc khác. Can thiệp dựa trên thiết kế của Le và cộng sự được thử nghiệm với 14 học viên thạc sĩ và được đánh giá với 29 sinh viên ngành sư phạm. Hiệu năng tự thân về năng lực AI được báo cáo tăng lên và sinh viên chuyển sang xem xét sư phạm AI sinh tạo một cách phê phán hơn, trong khi mức tăng về đạo đức chỉ đạt mức có ý nghĩa sát ngưỡng. Một nghiên cứu dựa trên thiết kế nhỏ với hình dạng như vậy không thể xác lập năng lực (Development and evaluation of artificial intelligence literacy training for teacher education students).

Đo điều sinh viên có thể làm

Một phân tích tổng hợp ba cấp trên 59 nghiên cứu (172 kích thước hiệu ứng, 7,211 người tham gia) cho ước lượng định lượng rõ ràng nhất hiện có: một hiệu ứng tổng thể lớn (g = 0.837, p < .001). Khoảng dự báo 95% chạy từ -0.292 tới 1.966, và đó là con số cần trích dẫn khi có người hỏi liệu can thiệp đó có hiệu quả trong chương trình của bạn không. Hai yếu tố điều tiết có ý nghĩa. Các can thiệp ở Đông Á và châu Âu vượt trội so với ở Bắc Mỹ, và các can thiệp tập trung vào kiến thức vượt trội so với những can thiệp nhắm vào kỹ năng, thái độ hoặc đạo đức. Các hiệu ứng lớn hơn nhưng không có ý nghĩa xuất hiện với những sư phạm hỗn hợp hoặc suy ngẫm, với các công cụ được AI sinh tạo hỗ trợ, và với các kết quả đầu ra là nhiệm vụ thực hiện.

Các tác giả đọc kết quả của chính mình như một lập luận cho việc vượt qua kiến thức để hướng tới kỹ năng, thực hành, đạo đức và thái độ, thông qua sư phạm suy ngẫm tích hợp và thiết kế phù hợp văn hóa. Với một ủy ban, hai hàm ý làm nên công việc. Kết quả đầu ra bạn đo định hình hiệu ứng bạn tìm thấy, nên hãy chọn kết quả đầu ra mà bạn thực sự quan tâm. Một khoảng dự báo rộng như vậy là lập luận cho một thử nghiệm cục bộ.

Đo lường là nơi phần lớn các tuyên bố về chương trình thất bại. Bài kiểm tra thực hiện GLAT đã được kiểm chứng dự báo được kết quả thực hiện trên một nhiệm vụ đại học có AI hỗ trợ. Một thước đo năng lực ChatGPT tự báo cáo thì không (GLAT: The Generative AI Literacy Assessment Test; How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures). Trên toàn cơ sở tri thức, năng lực AI được báo cáo và năng lực AI được thể hiện khác nhau đáng kể, điều đó khiến đo lường giáo dục và độ hiệu lực của đánh giá trở thành một phần của thiết kế chứ không phải một việc nghĩ thêm trong đánh giá chương trình.

Burriss và cộng sự làm rõ điều gì được tính. Nghiên cứu của họ trên 22 học sinh lớp mười một soạn thông điệp dịch vụ công dạng video về đạo đức AI lập luận rằng các thang năng lực và khung năng lực hiện có giả định một phần thực hiện đo được ở cá nhân, điều đó loại trừ biểu đạt hợp tác và sáng tạo. Họ đề xuất các bài suy ngẫm của sinh viên, sản phẩm đa phương thức, và diễn ngôn công dân như những bổ sung cho các thước đo thông thường. Sinh viên của họ phát triển hiểu biết phê phán về đạo đức AI qua sư phạm phê phán hợp tác, và điều đó thách thức các quan niệm về năng lực dưới dạng danh sách kỹ năng cùng những công cụ được xây trên chúng. Mười lăm trong 18 câu trả lời cuối bài khẳng định có học được điều mới, và các tác giả lưu ý rằng dự án này kháng lại đánh giá tổng kết truyền thống ("Young Scholar[s] on the Beat": Multimodal Composition as a Form of Critical AI Literacy Pedagogy).

Các thước đo chấp nhận là một cái bẫy riêng. Wang, Chuang và Wu khảo sát 831 học sinh và giáo viên phổ thông Đài Loan sau khoảng 30 phút với một sách hướng dẫn năng lực AI phân theo độ tuổi và phát hiện một cấu trúc chấp nhận bốn nhân tố ổn định. Tính vui đùa được cảm nhận là tương quan mạnh nhất với ý định hành vi. Nghiên cứu đo mức chấp nhận ngắn hạn, không đo mức tăng học tập, năng lực đạo đức, hay việc sử dụng thực tế, và các tác giả nói rõ rằng các cấu trúc về chấp nhận “không được dùng để suy ra hiệu quả học tập hay sự thành công của việc triển khai” (Measuring Acceptance of Age-Tiered AI Literacy Guidebooks: A Developmentally Informed Study of K-12 Students and Teachers).

Lên kế hoạch cho những sai sót mà việc dạy không sửa được

Việc huấn luyện sinh viên viết prompt hay dùng AI tốt hơn không làm họ trở thành người dùng có phê phán một cách đáng tin. Trong thực nghiệm về sự xu nịnh theo ngữ cảnh, việc huấn luyện năng lực AI và kỹ thuật viết prompt làm giảm tần suất mô hình phản chiếu các lỗi lập luận của người tham gia, và việc lan truyền lỗi về sau vẫn tồn tại sau khóa huấn luyện (The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration).

Hãy đọc điều đó như một ranh giới cho những gì một khóa học có thể hứa. Giáo dục năng lực không thể gánh toàn bộ trách nhiệm an toàn, và một chương trình tuyên bố rằng nó làm được điều đó đã di chuyển rủi ro chứ không loại bỏ nó. Thiết kế công cụ và các biện pháp bảo vệ ở cấp hệ thống vẫn phải nằm trong kế hoạch.

Bắt đầu từ chỗ sinh viên của bạn đang đứng

Şan và Orhan Karsak dùng một Bài kiểm tra Liên tưởng Từ theo tâm lý ngôn ngữ với 436 sinh viên đại học Thổ Nhĩ Kỳ (1,376 câu trả lời được mã hóa, κ giữa người chấm = 0.87) để lập bản đồ cách sinh viên hình dung AI. Các liên tưởng tụ lại quanh tính hữu dụng công cụ, với sự tiện lợi (f = 145) và tốc độ (f = 110) chiếm ưu thế. Các khái niệm về tính minh bạch thuật toán, quyền riêng tư và quản trị thì hiếm, và tách rời về cấu trúc khỏi cụm hữu dụng đó (τ của Kendall = -0.819). Lập luận của họ theo sau: một mô-đun đạo đức được đưa vào một cấu trúc nhận thức không có lược đồ nào để tiếp nhận nó thì nhiều khả năng sẽ thất bại. Chương trình học cần những cầu nối rõ ràng từ tri thức công cụ hằng ngày tới các khung đạo đức và quản trị, và các chứng chỉ vi mô nên sắp xếp nội dung để lấp khoảng trống đó thay vì lặp lại điều sinh viên đã biết (Knowing Its Name, Not Its Nature: Word Association Mapping of Student AI Cognition and Evidence-Based Micro-Credential Design in Turkish Higher Education).

Một cách giải thích theo học tập tình huống đến từ bảy nhóm thảo luận của Dai và Chan với 28 nhà nghiên cứu sau đại học, những người dùng AI không đồng đều trên toàn bộ quy trình nghiên cứu. Việc sử dụng nặng hơn ở những công việc thủ tục ít hệ quả như định dạng, dịch và giải thích, và thận trọng rõ rệt hơn ở những chỗ đóng góp học thuật là vấn đề. Những người tham gia tự vạch ranh giới giữa việc hỗ trợ và việc thay thế lập luận của mình. Các tác giả coi năng lực AI là một năng lực tình huống chứ không phải một danh sách năng lực tĩnh, và đề nghị giàn giáo từng chiều qua các nhiệm vụ thật thay vì áp đặt các quy tắc nhị phân (Shaping Responsible GenAI Use in Research Through AI Literacy-Oriented Guidelines: Insights From Postgraduate Students).

Kiểm tra chứng chỉ trước khi bạn cấp nó

Chứng chỉ và chứng chỉ vi mô là nơi năng lực AI được cung cấp ở quy mô lớn và cũng là nơi việc đánh giá mỏng nhất. Wu và Li xây một hệ thống chỉ báo có trọng số chuyên gia (AHP và Fuzzy-AHP với kiểm tra Monte Carlo, 18 chuyên gia) cho các chương trình chứng chỉ AI. Năng lực chuyên môn của giảng viên cho thấy khoảng cách quan trọng và hài lòng lớn nhất, với mức quan trọng được cảm nhận cao (0.1976) so với mức hài lòng hiện tại thấp. Dữ liệu của họ đặt năng lực của giảng viên lên trước hạ tầng công nghệ như ràng buộc chính đối với thay đổi sư phạm. Khả năng thích ứng liên văn hóa nhận trọng số chiến lược thấp nhất (0.0735), điều mà họ đọc như một thiên lệch ưu tiên công nghệ trong giai đoạn cấp chứng chỉ ban đầu (Evaluation Indicator System for AI Certificate Programs).

Câu hỏi theo sau là câu cần đặt cho chương trình của chính bạn: chứng chỉ đó xác nhận một năng lực bền vững, hay chỉ ghi lại việc có mặt? Và những người dạy nó có đủ năng lực để đánh giá không?

Nhóm độc giả này hiểu sai điều gì

Một buổi tập huấn là một chương trình học. Các quan sát của Continuum đặt việc đánh giá phê phán và cải thiện vào những công việc bền bỉ, gắn với chuyên ngành, và Le và cộng sự đã dịch chuyển được hiệu năng tự thân mà không xác lập được năng lực.

Sự tự tin là đại diện cho năng lực. Kết quả GLAT là trực tiếp: một bài kiểm tra thực hiện dự báo được kết quả thực hiện còn một thước đo tự báo cáo thì không.

Một hiệu ứng trung bình lớn nghĩa là chương trình sẽ hiệu quả ở đây. Với khoảng dự báo từ -0.292 tới 1.966, mức trung bình mô tả cả lĩnh vực; khóa của bạn nằm ở đâu đó bên trong khoảng đó.

Huấn luyện năng lực làm cho sinh viên thành người dùng an toàn. Trong thực nghiệm về sự xu nịnh, huấn luyện làm giảm việc phản chiếu và để nguyên việc lan truyền lỗi.

Năng lực là một kỹ năng chuyển được qua các công cụ. Dai và Chan phát hiện các nhà nghiên cứu vạch những ranh giới khác nhau ở những phần khác nhau của cùng một quy trình.

Những gì sẽ quay lại với bạn

“Không còn chỗ trong chương trình học.” Hãy thêm bài phê phán vào một bài tập bạn vốn đã chấm, theo cách Beck và Brodersen gộp nó vào các thói quen học tập chủ động đã có. Một khóa học riêng tốn kém hơn và dạy cùng một thứ.

“Sinh viên của chúng tôi lớn lên với công nghệ này.” Sự quen thuộc với công cụ chính là điều Şan và Orhan Karsak đo được: tiện lợi và tốc độ, với quyền riêng tư và quản trị bị tách rời về cấu trúc. Thành thạo việc dùng một thứ không phải là hiểu nó.

“Chỉ cần cho chúng tôi kích thước hiệu ứng.” g = 0.837, p < .001, từ 59 nghiên cứu, với khoảng dự báo 95% từ -0.292 tới 1.966. Con số thứ hai là con số điều hành quyết định của bạn.

“Chúng tôi sẽ khảo sát sinh viên vào cuối học kỳ.” Vậy là bạn sẽ đo mức chấp nhận. Wang và cộng sự nói rõ điều đó không thể chống đỡ được gì, trên một mẫu 831 người.

“Chứng chỉ là cơ chế trách nhiệm giải trình.” Wu và Li phát hiện năng lực của giảng viên là ràng buộc quyết định, và khả năng thích ứng liên văn hóa có trọng số thấp nhất. Một chứng chỉ ghi lại rằng ai đó đã hoàn thành một việc gì đó.

“Giảng viên của chúng tôi chưa sẵn sàng dạy điều này.” Bằng chứng đồng ý. Năng lực của giảng viên là khoảng cách lớn nhất trong dữ liệu của Wu và Li, và không nghiên cứu nào trên trang này kiểm tra cách lấp nó.

Việc cần làm trong tuần này

1. Chọn một bài tập được chấm điểm và thêm một bước trong đó sinh viên tạo câu trả lời của mình trước khi tham khảo AI.

2. Viết prompt phê phán dựa trên rubric hiện có của bạn, để sinh viên chấm đầu ra theo đúng tiêu chuẩn bạn vốn dùng.

3. Lên lịch chạy lại hoạt động đó lần thứ hai vào cuối học kỳ, trong cùng khóa học.

4. Thay một câu hỏi về sự tự tin cuối học kỳ bằng một mục thực hiện ngắn, và chấm điểm nó.

5. Hỏi người phụ trách chứng chỉ vi mô của bạn xem nó sẽ chấp nhận bằng chứng năng lực nào, và lấy câu trả lời bằng văn bản.

Đi tiếp từ đây

Tôi nên đưa năng lực AI vào khóa học của mình thế nào? đưa câu hỏi thiết kế vào việc lập kế hoạch khóa học. Năng lực AI giữ khái niệm và cuộc tranh luận về đo lường nó, và trang về các khoảng trống nghiên cứu bao quát những chỗ tài liệu này còn mỏng.