Nghiên cứu AI trong giáo dục nên lồng ghép công bằng, khả năng tiếp cận, quyền riêng tư, đạo đức và an toàn sư phạm như thế nào?

Bản dịch máy tự động của trang tiếng Anh này, chưa được người bản ngữ xem xét.

Đề cương phải nộp vào thứ Sáu. Mục 7, về đạo đức, ghi rằng rủi ro sẽ được theo dõi. Việc chiêu mộ đi qua một môn học năm nhất đã có, và đoạn hạn chế ghi rằng các phát hiện có thể không khái quát hóa được. Hội đồng xét duyệt sẽ hỏi ai là người có khả năng được hưởng lợi, sinh viên khuyết tật có dùng được thứ đó không, nhật ký tương tác sẽ đi đâu, và một phản hồi có hại từ gia sư trông như thế nào trong dữ liệu. Bốn câu hỏi, và chưa câu nào có một mục riêng.

Câu trả lời để đưa cho hội đồng: công bằng, khả năng tiếp cận, quyền riêng tư và an toàn sư phạm thuộc về thiết kế và thuộc về các phép đo kết quả ngay từ bản nháp đầu tiên. Mỗi thứ thay đổi việc bạn chiêu mộ ai, đo cái gì và báo cáo cái gì, nên hãy gắn nó vào một quyết định khi đề cương còn sửa được.

Tóm tắt

1. Nêu phép so sánh giữa các nhóm trước khi thu thập dữ liệu, và đặt nó vào kế hoạch phân tích.

2. Đưa người học khuyết tật vào buổi thiết kế và kiểm thử chính giao diện thật.

3. Ghi ra sự đánh đổi về quyền riêng tư, gồm ai đã quyết định và ai có thể đảo ngược nó.

4. Kiểm thử an toàn trên toàn bộ cuộc hội thoại, trong các kịch bản của chính ngành bạn.

5. Kết hợp dữ liệu kết quả với phỏng vấn, và để lại một dấu vết mà người đọc kiểm tra được.

Hỏi ai là người được hưởng lợi

Khái niệm Khoảng chia số tách khoảng chia về quyền truy cập, về kỹ năng và về kết quả, nghĩa là việc gỡ bỏ rào cản truy cập bằng một chatbot không tạo ra lợi ích công bằng. Hãy thiết kế cho khoảng chia thứ ba. Báo cáo kết quả theo nhóm và kiểm thử hiệu quả khác biệt thay vì dựa vào mức trung bình tổng thể (hiệu ứng khác biệt giữa các nhóm người học).

Một nghiên cứu so sánh 45 trường đại học Nigeria (15 liên bang, 15 bang, 15 tư thục) cho thấy chúng cộng dồn vào nhau thế nào. Mức tích hợp AI tổng thể ở mức trung bình, M = 4.79 trên thang 10 điểm, biên độ 1.83-7.83. Loại hình quản trị không dự báo được nó (F(2,42) = 1.01, p = 0.372). Tuổi của cơ sở (β = 0.43, p = 0.016) và vị trí ở Tây Nam (β = 0.31, p = 0.029) thì có. Các năng lực nội tại củng cố lẫn nhau (r = 0.79-0.80), và hợp tác quốc tế cùng quan hệ đối tác với doanh nghiệp cộng dồn vào nhau (r = 0.74), điều các tác giả tóm tắt là “các mối liên kết sinh ra các mối liên kết”. Khung chính sách là phần yếu nhất (M = 4.09; chỉ 27% cơ sở đạt 6 điểm trở lên), để lại một khoảng cách giữa chiến lược hình thức và hoạt động thiết kế chương trình trên thực tế.

Hai hàm ý thiết kế đi theo. Hãy nhắm vào các cơ sở mới hơn và các vùng ít được phục vụ, vì loại hình không quyết định năng lực. Và hãy tính đến các bối cảnh Nam Bán cầu mà nền bằng chứng rộng hơn vẫn còn bỏ sót.

Đưa người học khuyết tật vào phòng thiết kế

Hãy đưa người học khuyết tật vào việc thiết kế và đánh giá, kiểm thử giao diện thật đối chiếu với các yêu cầu về khả năng tiếp cận, và cung cấp những đường đi tương đương để tham gia và để thể hiện việc học. Tuân thủ kỹ thuật và dạy học bao trùm là hai phép kiểm tra riêng, và Khả năng tiếp cận bao quát cả hai.

Một nghiên cứu thiết kế nhạy cảm với giá trị với sinh viên cao đẳng cộng đồng, giảng viên và nhà phát triển cho thấy công việc đó trên thực tế. Nó tạo ra 16 tính năng gắn với giá trị trên ba nhóm: khả năng giải thích (E1-E5), quyền kiểm soát con người trong vòng lặp (H1-H9), và quyền riêng tư (P1-P4), và làm nổi lên những căng thẳng chứ không phải những câu trả lời gọn gàng: minh bạch đối lại khả năng diễn giải, quyền riêng tư đối lại hiểu biết về dạy học, quyền hành của người học đối lại giàn giáo do hệ thống dẫn dắt. Hãy dự liệu sẽ phải phân xử những căng thẳng đó, và ghi lại bạn đã đi theo hướng nào.

Quyết định sự đánh đổi về quyền riêng tư, và nêu ai là người quyết định

Hãy thu thập dữ liệu mà mục đích giáo dục cần, làm cho việc dùng dữ liệu và các giới hạn của hệ thống trở nên minh bạch, và giữ trách nhiệm giải trình của con người ở mức cụ thể. Công bằng, đồng thuận, thiên lệch, khả năng giải thích, quyền tự chủ của người học và hệ quả của các quyết định qua trung gian AI là những chiều cốt lõi của Đạo đức, và chúng xung đột trên thực tế. Sinh viên muốn kiểm soát phân tích học tập và dữ liệu cảm xúc; giảng viên muốn có khả năng nhìn thấy để hỗ trợ việc học. Cả hai vị thế đều bảo vệ được, đó là lý do quyết định này cần một người sở hữu được nêu tên.

Khi các hệ thống đảm nhận quyền hành, câu hỏi chuyển sang mang tính cấu trúc. Một tổng quan phê phán về quản trị AI tác nhân lập luận rằng quyền tự chủ không nên vượt quá độ chín của bằng chứng hoặc độ mạnh của quyền kiểm soát con người có trách nhiệm giải trình. Nó đề xuất một ngôn ngữ báo cáo dùng chung: các mức tự chủ A0-A4, các mức giám sát O0-O4, các giai đoạn độ chín của bằng chứng M0-M5. Những cách dùng có hệ quả (A4: tuyển sinh, chấm điểm, lên lớp) đòi hỏi kiểm chứng được nhân lặp và phù hợp bối cảnh cùng quyền hạn con người liên tục, và một điểm đánh giá chuẩn cao không thay thế được cả hai.

Kiểm thử những tác hại mà bộ đánh giá bỏ sót

An toàn sư phạm nghĩa là đo những gì một bộ đánh giá sẽ không đo: phụ thuộc quá mức, tiết lộ đáp án quá nhiều, củng cố hiểu lầm, mất quyền hành, ức chế chuyển hóa nhận thức, đối xử bất công bằng, tác hại về động lực, và lệch khỏi mục tiêu dạy học. Hãy kiểm thử các tương tác nhiều lượt trong những kịch bản đặc thù theo ngành. Bản tổng hợp về An toàn sư phạm và bộ đánh giá SafeTutors cho thấy vì sao một hệ thống trông có vẻ chính xác vẫn có thể làm hỏng việc học.

Những người làm thực tế hội tụ về một thiết kế tương thích. Trong một nghiên cứu thiết kế có sự tham gia của sáu giáo viên trung học, các giáo viên độc lập thiết kế nên “chuyên gia có ranh giới” thay vì tác nhân tự chủ: một lĩnh vực hẹp, sự giám sát của con người, và ba lớp bảo vệ ở ranh giới lĩnh vực, lọc nội dung, và quyền ghi đè của giáo viên. Họ hoan nghênh AI trong việc trình bày nội dung, cung cấp bài luyện và đưa đánh giá quá trình cùng phản hồi, và từ chối giao việc đặt mục tiêu hay đánh giá tổng kết. Họ xem việc giám sát là trách nhiệm nghề nghiệp.

Kết hợp phương pháp, và cho thấy đường đi từ dữ liệu đến khẳng định

Kết quả định lượng được tách theo nhóm có thể cho thấy hiệu ứng khác biệt. Phỏng vấn, quan sát, thảo luận nhóm và đồng thiết kế làm nổi lên những rào cản, tác hại, giả định văn hóa và trải nghiệm người học mà điểm số tổng hợp bỏ sót. Bản tổng hợp Phương pháp nghiên cứu trong AIED xem việc tam giác hóa là cần thiết vì không một phương pháp định tính hay định lượng nào tối đa hóa cùng lúc suy luận nhân quả, giá trị sinh thái, hiểu biết bối cảnh và khả năng khái quát hóa.

Phân tích của chính bạn cũng cần cùng kỷ luật đó. Đề xuất về khả năng bảo chứng lập luận rằng một diễn giải có AI hỗ trợ vẫn kiểm tra được, phản bác được và sửa được khi nó đi kèm các hiện vật như bảng chủ đề có liên kết nguồn, chồng thấu kính, và dòng bằng chứng. Một bản tóm tắt trôi chảy không nên che đi con đường đã tạo ra nó.

Hãy cũng tách các mức kết quả ra. Tổng quan về AI tác nhân tách kết quả về hiện vật, như độ chính xác và chất lượng phản hồi, khỏi lợi ích cho người học. Kết quả về hiện vật có thể là cần thiết và không bao giờ là đủ, và kết quả về công bằng cùng kết quả ở cấp tổ chức là nơi bằng chứng mỏng nhất.

Nhóm độc giả này hiểu sai điều gì

Công bằng nghĩa là quyền truy cập. Khái niệm Khoảng chia số đặt kỹ năng và kết quả vào cùng danh sách với quyền truy cập, và nghiên cứu của Adeniranye thấy năng lực khác nhau theo tuổi cơ sở và vùng miền trong khi loại hình quản trị không dự báo được gì.

Khả năng tiếp cận là một danh sách kiểm tra trên giao diện. Nghiên cứu thiết kế nhạy cảm với giá trị làm nổi lên những căng thẳng giữa khả năng giải thích và khả năng diễn giải mà không danh sách kiểm tra nào giải quyết được.

Quyền riêng tư là một mẫu đồng thuận. Nghiên cứu thiết kế thấy sinh viên và giảng viên muốn những điều trái ngược nhau từ cùng một bộ dữ liệu, và tổng quan về quản trị gắn quyền tự chủ với độ chín của bằng chứng.

An toàn nghĩa là mô hình từ chối các yêu cầu có hại. An toàn sư phạm bao gồm phụ thuộc quá mức, củng cố hiểu lầm và mất quyền hành, những thứ một bài kiểm tra từ chối không chạm tới.

Một phương pháp duy nhất trả lời được câu hỏi. Bản tổng hợp phương pháp nói rõ rằng bốn thuộc tính đó đánh đổi lẫn nhau.

Những gì sẽ quay lại với bạn

“Chúng tôi sẽ bàn về công bằng trong phần thảo luận.” Vậy thì kế hoạch phân tích của bạn không kiểm thử được nó. Hãy nêu phép so sánh giữa các nhóm ngay bây giờ, nếu không phát hiện sẽ đến sau khi dữ liệu đã đóng.

“Mẫu của chúng tôi quá nhỏ để phân tích theo nhóm.” Vậy hãy nói rõ nó đỡ được gì và báo cáo ai nằm trong mẫu. Một kết quả nhóm bằng không từ một mẫu thiếu lực thống kê không phải là bằng chứng về công bằng.

“Kiểm thử khả năng tiếp cận là việc của văn phòng hỗ trợ khuyết tật.” Việc xem xét của họ bao quát sự tuân thủ. Việc một người học có thể thể hiện những gì họ biết bên trong hoạt động của bạn hay không là một câu hỏi thiết kế, và nghiên cứu thiết kế ở trên đưa sinh viên vào phòng chính vì lý do đó.

“Dữ liệu đã được ẩn danh, nên quyền riêng tư đã được xử lý.” Những căng thẳng trong nghiên cứu thiết kế là về kiểm soát và khả năng nhìn thấy, không phải về định danh. Sinh viên muốn biết ai thấy dữ liệu cảm xúc của họ và vì sao.

“Bộ kiểm thử an toàn của chúng tôi đều qua.” Ở những lượt nào? SafeTutors thấy các mô hình dạy học suy giảm qua những cuộc hội thoại dài, và đó chính là độ dài mà sinh viên của bạn sẽ thực sự dùng.

Việc cần làm trong tuần này

1. Thêm một đoạn về nhóm vào kế hoạch phân tích, nêu rõ những nhóm nào và kết quả nào.

2. Đặt một buổi thiết kế với người học khuyết tật hoặc nhân viên hỗ trợ họ, trước khi giao diện được chốt.

3. Viết quyết định về quyền riêng tư thành một câu có người sở hữu: thu thập gì, ai thấy, ai có thể dừng nó.

4. Soạn mười lượt hội thoại đối kháng trong môn học của bạn và chạy chúng với hệ thống.

5. Thêm một hiện vật kiểm tra được, như một bảng có liên kết nguồn hay một bộ trích đoạn đã mã hóa, vào thư mục phân tích.

Đi tiếp từ đây

Đánh giá các can thiệp AI: phương pháp là trang đồng hành về các phép đo và thiết kế. Mười phát hiện hàng đầu cho giảng viên mang những ràng buộc này trong phát hiện 9 và 10, Giải quyết những hiểu lầm phổ biến về AI trong giáo dục xử lý các phản đối của những bên liên quan, và Những khoảng trống nghiên cứu trong AIED liệt kê nơi bằng chứng còn thiếu.