평가를 어떻게 재설계하면 성적이 학생이 알고 있거나 할 수 있는 것에 대해 여전히 방어 가능한 무언가를 말해 줄 수 있습니까?

영어 페이지의 자동 번역이며, 아직 원어민의 검수를 받지 않았습니다.

성적이 나타내도록 의도된 능력이 무엇인지를 먼저 명시적으로 밝히는 것에서 시작하십시오. 학생이 AI 없이 할 수 있는 것, AI를 적절히 활용하여 달성할 수 있는 것, AI를 평가하고 지휘할 수 있는 능력, 아니면 이것들의 어떤 조합을 평가하는 것입니까? 지식베이스의 평가 타당성은 이것을 타당성의 문제로 다룹니다. 다듬어진 결과물은 이제 그것이 보여 주는 것처럼 보이는 능력을 학생이 실제로 지니고 있다는 것의 충분한 증거가 아닙니다. 이것은 동일한 논증의 평가 쪽 절반이며, 집행 쪽 절반은 제 강좌에서 AI 부정행위를 줄이려면 어떻게 해야 합니까?에, 일반적인 타당성의 틀짓기는 교수자가 AI 관련 개입을 평가하는 데 사용할 수 있는 측정과 연구 방법은 무엇입니까?를 관통합니다.

구성개념 대체의 위험

From Authentic Products to Authenticated Processes라는 글은 그에 따른 위험을 구성개념 대체라고 부릅니다. 평가자가 AI를 매개로 산출된 결과물을 학생의 것으로 귀속시켜 의도치 않게 학생의 능력이 아니라 도구의 능력을 측정하는 것입니다. 이 글이 권하는 대응은 학생의 추론, 판단, 검증, 반복, 책임을 단계적 제출, 주석이 달린 의사결정 근거, 과정 기록, 피드백 활용 진술, 구두 변론, 그리고 기타 형태의 입증된 과정 증거를 통해 가시화하는 것입니다.

Mohamed와 Temimi는 동일한 문제를 도덕의 문제가 아니라 불완전한 정보의 문제로 재틀짓습니다. 학생은 작업이 어떻게 산출되었는지를 알지만 기관은 결과물과 부분적인 흔적만을 보므로, 설계 질문은 각 평가 환경이 어떤 학생의 대응을 가장 매력적으로 만드는가가 됩니다. 그들의 대응-영역 모형은 세 가지 선택 — AI 미사용, 공개된 사용, 은닉 사용 — 을 비교하고, 규칙, 모니터링, 공개, 재설계가 서로 다른 경로를 통해 작동하며 가장 매력적인 대응이 평가의 목적과 일치할 때에만 성공한다는 것을 보여 줍니다. 두 가지 결과가 설계 구조에 직접 관련됩니다. 억제는 탐지기의 원시 탐지율이 아니라 은닉 사용과 정당한 작업 사이의 변별력을 통해 작동하므로, 위양성이 참양성보다 빠르게 증가할 때 더 강한 모니터링은 은폐를 상대적으로 더 매력적으로 만들 수 있습니다. 그리고 재설계는 루브릭이 실제로 과정 증거를 보상할 때에만 학생을 책임 있는 사용으로 움직이며, 그렇지 않으면 피상적 채로 남습니다. 그들의 실천적 규칙은 가장 양심적인 학생이 아니라 은폐하고 싶은 유혹이 가장 큰 학생을 위해 설계하라는 것입니다.

강한 평가 구조

실제로 강한 평가 구조는 종종 AI가 활용되는 실제적 과제를 어떤 형태의 독립적 검증과 결합합니다. 학문 분야에 따라 여기에는 짧은 구두 설명, 수업 중 적용, 실시간 시연, 주석이 달린 포트폴리오, 짧은 무보조 구성요소, 또는 주요 결정에 대한 질문이 포함될 수 있습니다.

실제적 평가 개념은 또한 현실적인 지적 작업, 인지적 도전, 학생의 능동성, 피드백, 사회적 또는 직업적 진정성을 강조합니다. 단순히 전통적인 과제를 AI가 완수하기 더 어렵게 만드는 것이 아닙니다. 구두 및 실시간 구성요소는 불안, 장애 조정, 언어적 차이, 평가자의 편향에 세심한 주의가 필요합니다.

널리 사용되는 비감시 구조 하나 — 학생별 과제 변형, 즉 각 수험자가 동일한 과제의 표면적으로는 다르지만 구성개념으로는 동등한 버전을 받아 답안을 공유해도 의미가 없게 하는 것 — 은 무조건 주어지는 것이 아니라 능력에 조건부입니다. 60개의 조건 셀에 걸쳐 생성된 변형 600개로 이루어진 벤치마크인 VARIA는 최전선 모형들이 공동 무결성 점수(0.81–0.88)에 빽빽이 모여 있는 반면 비최전선 참조는 0.50–0.55로 붕괴하고, 어떤 단일 프롬프팅 전략도 표면 다양성과 구성개념 동등성을 동시에 최적화하지 않는다는 것을 발견했습니다. 규모 있는 변형은 프롬프팅만으로 가정할 수 없으므로, 기관은 그 보장을 실제로 취급하기 전에 자신의 모형–프롬프트 짝을 검증해야 합니다.

재설계가 과제별로 거의 작동하지 않는 경우도 드뭅니다. 한 대형 호주 대학의 학자 12명과 학생 17명에 대한 질적 연구에서 Nicola-Richmond 등은 두 집단 모두 평가가 변해야 한다는 데 동의하면서도 체계적 마찰 — 긴 준비 기간, 대규모 학급의 인증 제약, 업무량과 비용 — 을 강조했고, 재설계가 마을 전체의 노력을 필요로 한다고 결론 내렸습니다. 평가 설계, 생성형 AI, 교과 내용, 산업 및 증거 전문성을 아우르는 프로그램 전반의 팀과 함께, GenAI 리터러시와 학습 성과 보증 지점을 자격 전체에 걸쳐 전략적으로 배치하는 것입니다. 이것을 다룰 수 있게 하는 과제 수준의 방법은 McCorkle가 기록한 것입니다. 학생이 수행하는 모든 단계를 목록화하고 각 단계에 대해 "구체적으로 무엇을 평가하고 있는가?"를 묻고 그 답에서 AI 경계를 도출하는 것 — 이것은 또한 제 강좌에서 AI 부정행위를 줄이려면 어떻게 해야 합니까? 뒤에 있는 기대가 명시적이고 집행 가능하게 되는 방식입니다.

목적은 메커니즘만큼 중요합니다. El Khoury와 Ma는 부정행위 예방 주변으로만 조직된 개혁은 지나치게 방어적이라며 즐거운 평가를 제안합니다 — 안전하고 정서적으로 반응적이며 학생의 학습자 주체성을 강화하고 지지하는 것 — 여기서 정직성은 출발점이 아니라 좋은 설계의 결과입니다. 그들의 실제 사례는 교수자가 구축한 AI 에이전트를 사용하여 학생을 판단 전에 연습시키고 루브릭에 정렬된 증거 보고서를 산출하지만, 노동의 분담은 분명하게 밝혀집니다. AI는 증거를 조직하고 교수자는 그것을 해석합니다.