AIEd 지식베이스AIEd KB
이 페이지의 목차

이 페이지는 한국어로 번역되었습니다. 문서 페이지는 여전히 영어로 작성되어 있습니다. 이 페이지를 영어로 읽기

개념

평가 타당도

생성일 2026-08-09 · 갱신일 2026-10-09

영어 페이지의 자동 번역이며, 아직 원어민의 검수를 받지 않았습니다.

평가 타당도 — 평가가 자신이 측정한다고 주장하는 것을 실제로 측정하는지의 여부입니다. 교육에서의 인공지능는 근본적인 타당도의 질문을 제기합니다. AI가 채점하는 평가는 학생의 학습을 평가하는 것입니까, 아니면 AI 프롬프트 기술을 평가하는 것입니까? AI의 사용은 전통적인 평가의 전제들을 무효화합니까?

생각해 볼 질문들

  • 타당도는 평가가 자신이 측정한다고 주장하는 것을 실제로 측정하는지를 묻는 개념입니다. 읽기 전에, 여러분이 AI의 도움을 받은 것으로 의심되는 정제된 에세이를 학생이 제출하는 것을 본다면, 더 큰 문제는 부정행위라고 생각하겠습니까, 아니면 그 과제가 여러분이 측정한다고 생각했던 것을 더 이상 측정하지 못하고 있다고 생각하겠습니까?
  • 이 페이지는 날카로운 질문을 던집니다. 학생들이 AI를 사용할 때, 그 점수는 학생의 지식을 반영합니까, 아니면 AI 프롬프트 기술을 반영합니까? 여러분이 설계했거나 치른 평가 가운데, 그 점수가 이제는 학습자보다 도구에 관해 더 많은 것을 말해줄 수 있는 사례를 떠올릴 수 있습니까?
  • 중요한 발견 하나는, 동일한 학습자 입력이라도 어떤 기반 LLM이 사용되느냐에 따라 의미상 다른 응답을 받을 수 있다는 것입니다. 이는 신뢰도와 공정성을 위협하는 '구성과무관 분산(construct-irrelevant variance)'을 도입합니다. 두 학생이 단지 그 뒤에 있는 모델 때문에 다른 AI 지원을 받는다면, 그에 따른 비교가 얼마나 공정하겠습니까?
  • 이 페이지는 LLM이 높은 점수를 받더라도 인간의 점수 해석을 전이시키려면 응답의 잠재 구조(latent structure)가 유사해야 하며, LLM은 바로 이 지점에서 인간과 갈라진다고 주장합니다. 인간을 위해 설계된 시험을 AI가 '통과'했다는 사실을 신뢰하는 것에 관해 이것이 시사하는 바는 무엇입니까?
  • 이 지식베이스는 AI 사용을 탐지하려 하기보다는, AI를 활용할 수 있는 학생에게도 타당하게 남도록 평가를 재설계할 것을 주장합니다. AI를 사용했는지를 단속하는 것보다 과제를 재설계하는 쪽이 왜 타당도를 더 잘 보존하는 전략이 될 수 있습니까?
  • AI는 이제 시험 응시자, 출제자, 채점자, 분석자의 역할을 모두 수행합니다. 이는 해석의 사슬을 불투명하게 만듭니다. 평가의 모든 역할을 AI가 채울 때, 그 한가운데에 있는 인간 학습자를 위한 평가가 '타당하다'고 말하는 것은 도대체 어떤 의미를 가집니까?

서론

타당성의 도전 과제들

  • 구성 타당도: 학생들이 평가에서 AI를 사용할 때, 그 점수는 학생의 지식을 반영합니까, 아니면 AI의 능력을 반영합니까? 수행 대 학습 연구가 이 문제를 직접 다룹니다.
  • 대화 기반 평가에서의 교차-LLM 구성과무관 분산: Hao (2026)는 단 하나의 대화 차례(turn)에 대해서도 대규모 언어 모델(LLM)이 생성한 응답의 의미적 내용이 모델과 대화 맥락 조건에 따라 달라짐을 보여줍니다. 모델 내 유사도는 일관되게 모델 간 유사도를 웃돕니다(0.715–0.795 대 0.443–0.604). 또한 대화 기록을 추가하면 응답 내용이 의미 있게 달라집니다(교차 기록 유사도 중위값 약 0.40–0.45). 동일한 학습자 입력이라도 기반 모델에 따라 의미상 다른 응답을 받을 수 있으므로, 프롬프트와 맥락만으로는 응답의 일관성을 보존할 수 없습니다. 이는 타당도, 신뢰도, 공정성을 위협하는 잠재적인 구성과무관 분산을 도입합니다. 따라서 LLM이 진화함에 따라 일관된 평가 조건을 유지하는 것은 단순히 프롬프트 엔지니어링의 문제가 아니라(규칙 기반 기호 처리, 응답 템플릿, 검증 계층을 갖춘) 인프라의 문제입니다.
  • 존재하지만 채점자에게 도달하지 못하는 증거: Abreu, Stari와 Martí (2026)는 어떤 추론보다 먼저 나타나는 구성과무관 위협을 지목합니다. 실험 물리학 실험 보고서의 AI 검토에서, 방정식이나 그래프, 표, 단위가 보고서에 정확히 포함되어 있음에도 모델이 작업하는 처리된 내용물에서 검색되지 않을 수 있습니다. 그리고 부호, 값, 단위가 바뀌면 물리적 해석이 달라지므로, 교수자와의 불일치가 반드시 추론 오류를 의미하지는 않습니다. 이들이 제시하는 해결책은 절차적인 것입니다. 사진 촬영한 스캔 대신 고해상도 PDF를 쓰고, 방정식 편집기로 방정식을 작성하며, 그림 안의 축과 단위를 판독 가능하게 하고, 모든 점수에 구체적인 인용을 요구하는 지침을 두는 것입니다. 문서의 품질이 그 결과로 나온 점수가 뒷받침할 수 있는 타당도 주장의 상한선을 정하기 때문입니다.
  • 인간과 LLM에 걸친 잠재 구조 타당도: Strugatski 등 (2026)은 더 깊은 타당도 조건을 추가합니다. LLM이 높은 점수를 받더라도, 인간의 점수 해석을 전이시키려면 응답의 잠재 구조가 유사해야 합니다. 여섯 개의 멀티모달 AI LLM을 인간 집단과 비교하여 화학 및 정량적 추론 검사를 평가한 결과, LLM–인간 요인 구조는 일관되게 갈라집니다(LLM–인간 합치도가 인간–인간 기준선보다 낮음). 따라서 인간 규준으로 만든 시험에서의 수행은, 그 문항들이 측정하도록 설계된 구성에 관한 LLM의 능력에 관해 약한 증거입니다.
  • 결과적 타당도: AI를 매개로 한 평가가 공정한 결과를 가져옵니까? 언어 편향 연구들은 AI 채점이 비원어민 화자에게 불리하게 작용할 수 있음을 보여줍니다.
  • 언어 평가에서 움직이는 표적. TOEFL iBT, IELTS, PTE Academic, Duolingo English Test와 같은 고부담 시험은 여전히 도움 없이 제한된 시간 안에 읽기와 쓰기를 요구하지만, 학생들은 이제 학업 생활에서 그 과제들에 GenAI를 사용합니다. 그래서 보조를 받지 않은 점수에서 실제 학업 수행으로 나아가는 외삽 추론이 가장 큰 영향을 받는 단계입니다(Gonulal (2026)).
  • 규칙의 범위 자체가 타당도 성질이다: Wright (2026)는 2023년 이후 고등교육 전반에 작성된 금지 규정들이 "생성형 AI"를 막으면서도, 평가되는 내용의 생성과 형식의 변환을 구분할 기술적 정밀성을 갖추지 못했다고 주장합니다. 광학 문자 인식, 필기 인식, 음성-텍스트 변환은 이미 존재하는 것을 추론하는 인식 기술이지 새로운 내용을 산출하는 기술이 아니기 때문입니다. 규칙이 기능이 아니라 플랫폼 정체성에 부착되는 곳에서는, 정의상 우연에 의한 과도한 포섭(over-inclusive)이 발생합니다. 그 규칙은 다기능 도구의 전사(transcription) 전용 사용까지 포착하고, 규칙이 막으려 했던 행위를 하지 않은 학생을 제재하며, 접근성을 위해 그런 도구에 의존하는 학습자에게 가장 가혹하게 작용합니다. 이는 평가가 자신이 측정한다고 주장하는 구성에 관해 뒷받침할 수 없는 추론입니다. 그는 경계선 사례에 대해 기능 기반 초안 작성과 네 가지 운영 기준(충실도, 비증강, 추적 가능성, 증명)을 제안하며, 탐지기 출력과 문체 휴리스틱에 대한 의존이야말로 그 규칙 자신의 증거 기반이 얼마나 취약한지를 보여주는 증거라고 봅니다.
  • 에이전트 완수가 인간 생산 가정을 제거한다: Hadjisolomou와 El-Haddad (2026)는 타당도 분석을 생성형 지원에서 에이전트적 완수로 확장합니다. 자율적인 AI 에이전트가 이제 LMS에 로그인하여 학습 자료를 읽고, 비감독 비동기 과제를 처음부터 끝까지 완수할 수 있습니다(실제 강의에서 시연되었습니다. 5분도 채 걸리지 않아 10/10점을 받은 퀴즈와, 그럴듯하지만 날조된 토론 게시판 성찰문). 이들은 Kane의 논증 기반 추론 사슬의 바닥에 "인간 생산 가정"을 놓음으로써, 에이전트 완수가 일반화, 외삽, 의사결정 추론이 모두 의존하는 채점 추론의 근거를 조용히 제거한다는 점을 보여줍니다. 따라서 정직하게 획득한 점수를 포함한 모든 비감독 비동기 점수는 저작권을 확인할 수 없어 해석적 지지를 잃습니다. 이들의 결정적 판단은 이를 무결성의 실패가 아니라 타당도의 실패로 분류하는 데 있습니다. 기관은 부정행위를 처벌하면서도 자신이 보고하는 점수에 관한 근거를 가질 수 없는 것입니다. 탐지는 구조적으로 불충분합니다(분류기는 신뢰할 수 없고 편향되어 있으며, LMS 모니터링은 학생이 하게 될 것과 같은 클릭만을 봅니다). 따라서 해결책은 검증된 인간의 존재를 위한 평가 재설계(짧은 구술 구성 요소, 과정이 가시적인 초안, 특정 수업 회차에 대한 참조)이며, 감시 의무가 아니라 형평성을 보존하는 선택지 메뉴입니다.
  • 생성형 AI의 지원을 받은 작업을 인간이 채점할 때의 구성과무관 분산: Luo와 Dawson (2026)는 생성형 AI의 지원을 받은 작업을 인간이 채점하는 일이 구성과무관 분산으로 가득 차 있음을 직접 실증하는 자료를 제공합니다. 33명의 대학 교원을 대상으로 한 시나리오 기반 면접에서, 채점 결정은 인격 지향적 가치(학생의 정직성, 성실성), 역량 지향적 가치(AI로부터의 독립성, 생성형 AI 숙련도, 학문 분야 숙달), 관계 지향적 가치(학생들과 쌓은 신뢰), 정의 지향적 가치(공정성, 선의)에 의해 좌우되었습니다. 이들은 모두 평가되는 성과와 무관한 요인에 따라 성적을 달라지게 할 수 있는 것들입니다. 그들은 생성형 AI 지원 작업의 감점은, AI 사용이 학생들이 평가되는 성과를 보여주는 것을 막은 경우에 그때에만 정당화된다고 주장합니다. 그렇지 않다면 가치 기반 채점은 타당도를 위협합니다. 이 연구는 타당도 틀을 실제 교사 실천에 토대에 두고 있으며, 학생이 사용을 신고하는 것뿐 아니라 교사가 생성형 AI 사용이 성적에 어떻게 영향을 미칠지를 밝히는 "양방향 투명성"을 요구합니다.
  • 대규모 변형은 구성 동등 변형 생성을 요구한다: VARIA (Lee 2026)는 AI 통합 진정성 평가(AIAA)의 "대규모 변형" 전제 — 감시 기반 감독을 학생별 과제 변형으로 대체하는 것 — 를 실증적이고 반증 가능한 검토에 따릅니다. 각 응시자가 고유하지만 동등한 수행 과제를 받기 때문에, 그 무결성 보장은 LLM이 표면적으로는 다르면서도 구성적으로 동등하고, 채점 기준표 적용이 가능하며, 난이도가 맞춰진 변형을 생성한다는 조건에 달려 있습니다. 네 가지 프롬프트 전략에 걸쳐 세 개의 최전선 모델 계열을 600개의 변형으로 벤치마킹한 결과, VARIA는 최전선 생성기가 결합 무결성 기준을 간신히 만족함(결합 점수 0.81–0.88)을 발견하고, 비최전선 참조 모델들은 무너집니다(0.50–0.55). 또한 네 가지 성질 전체를 지배하는 단일 프롬프트 전략은 없습니다. 따라서 다양성 임계값을 공격적으로 설정한다면 "대규모 변형은 프롬프트만으로 해결될 수 없으며", 기관은 자신의 특정 모델-프롬프트 조합을 검증해야 합니다.
  • HITL AI 채점의 과소 채점 편향은 버그가 아니라 타당도의 특징이다: Curi 등 (2026)은 대규모 국가 필기 평가에서, LLM 채점자의 체계적인 보수적(과소 채점) 편향이 최종 의사결정의 관점에서는 문제가 되지만, 안전한 위임을 가능하게 하는 것이 바로 그것임을 보여줍니다. AI가 "합격"으로 표시한 응답은 자신 있게 수용할 수 있고, AI가 "불합격"으로 표시한 응답(사례의 15.3–16.5%)은 전문가 검토로 라우팅됩니다. 이는 AI 오류의 타당도 위협을 최종 결과로부터 떼어놓습니다. 그들의 IRT-북마크 파이프라인은 원점수 일치만을 유일한 타당도 신호로 다루지 않고, AI 채점의 숙련 수준 영향을 판독 가능하게 만듭니다.
  • 성적 인플레이션을 유발하는 AI는 타당도의 위협이다: Chirikov (2026)는 채점의 상류에서, 즉 성적이 부여되는 작업의 산출 단계에서 작동하는 기술 기반의 새로운 성적 인플레이션 메커니즘을 규명합니다. 319개 강의에 걸친 500,000개 이상의 성적을 대상으로 한 이중차분 분석(2018–2025)에서, AI 노출 과제(글쓰기, 코딩)가 더 많은 강의들은 ChatGPT 출시 이후 A 학점의 비중이 13퍼센트포인트 상승했고 성적 분포는 압축되었습니다. 삼중차분 분석은 이 효과가 과제가 집중된 강의들에 집중됨을 보여줍니다. 이는 AI의 과제 대체(교수자가 관찰하기 전에 AI가 성적이 부여되는 과제를 수행함)가 숙련도의 상승 없이 성적을 부풀린다는 증거입니다. 이는 강의 간 성적의 비교 가능성을 떨어뜨리고, 성적 분포만으로는 탐지하기 어려운 방식으로 성적증명서의 정보 가치를 잠식합니다.
  • 프로그램 차원의 합격/불합격 취약성과 그것을 규정하는 채점 기준: Ivory 등 (2026)은 3년제 심리학 학위의 모든 강의 평가(40개 평가, 16개 유형)에 대해 ChatGPT 출력물을 이진 합격/불합격로 판정했는데, 이는 채점자가 첫 번째 읽기에서 실제로 내리는 판단 기준입니다. 그 결과 40개 중 36개가 합격했습니다. 두 가지 타당도 함의가 따릅니다. 첫째, 실질적으로 작용하는 변수는 탐지가 아니라 합격 경계선입니다. 구조적 유창성과 분석 방법의 정당한 선택에는 보상을 주면서도 잘못된 값은 용인하는 채점은, 날조된 통계와 환각된 참고문헌이 합격선을 넘도록 하여, 누군가가 속았기 때문이 아니라 채점되는 방식 때문에 그 평가가 도구의 출력을 학생의 이해로 증명하게 만듭니다. 둘째, 선다형 문항은 자신의 정답을 스스로 누설했습니다. ChatGPT는 학생에게 보여주지 않은 그림이나 출력 표 없이도 통계 문제를 정답으로 맞혔는데, 이는 문항의 줄기와 선택지가 답을 암시했기 때문입니다. 이는 답안 선택지의 설계를 AI의 성질이 아니라 문항의 타당도 성질로 만듭니다.
  • 정확도와 일치도는 서로 다른 타당도 신호이다: Falahat, Das, Bhaumik와 Thambi (2026)는 21문항으로 된 약학 시험을 ChatGPT-5로 채점하고, 중간 정도의 백분율 정확도가 낮은 일치상관계수와 빈번히 공존함을 발견했습니다. 이는 채점 정확도와 일치도 사이의 방법론적 구분이며, 원시 정확도가 용인 가능해 보이는 경우에도 AI를 채점 대체 수단으로 쓰는 것의 신뢰도를 제한합니다. 일치도는 객관식 문항에서는 강했으나(CCC 0.935–1.000) 단답형에서는 거의 없었고 서술형에서는 미미했습니다(0.341–0.854). 또한 채점 기준표를 제공하는 것이 그 차이를 일관되게 메우지는 못했습니다.
  • AI가 생성한 문항의 타당도: AI가 생성한 시험의 품질 평가는 베이지안 IRT로 검증된 AI 생성 문항이 전문가가 작성한 표준화 시험 문항과 맞먹는 난이도와 변별력을 달성함(신뢰도 0.79 대 0.72)을 보여줍니다. 이는 심리측정학적 평가가 뒷받침될 때, 강의에 맞춘 AI 생성 평가의 타당도를 지지합니다.
  • 진정성 평가: 실제적 평가와 AI 평가 척도는 타당도를 보존하는 평가 재설계를 제안합니다.
  • 신뢰도와 교정: 확신 인식 시스템은 불확실한 평가에 표시를 달아 타당도를 개선합니다.
  • 구체화된 그리고 다중 양식의 증거: 음성만으로 이루어진 평가는 언어적 유창성을 개념적 지식으로 오인할 수 있습니다. Morphew 등은 컴퓨터 비전 제스처 분석과 LLM 음성 분석을 결합하면, 말이 아닌 제스처를 통해 표현되는 이해를 포착함으로써 구성 타당도와 형평성를 높인다는 것을 보여줍니다. 이는 비언어적으로 이해를 표현하는 학습자에 대한 편향을 줄입니다.
  • 모델이 과제를 풀 수 있게 되면 숙제는 더 이상 능력을 증명하지 못한다: Mikhasenko 등 (2026)은 Bochum의 입자 물리학 강의에서, 숙제를 능력 측정으로서 구체적으로 무효화한 사례를 기록합니다. 생성 모델이 올바른 풀이를 산출할 수 있게 되면, 제출된 연역 과정은 더 이상 학생이 그 문제를 독자적으로 풀 수 있음을 입증하지 못합니다. 이들의 대응은 두 기능을 분리합니다. 연구 형태로, AI 사용을 허용하는 숙제는 탐색적이고 보너스가 부여되는 과업으로 남기고, 도구 사용이 불가한 필기 시험을 최종 성적의 유일한 결정 요구로 만듭니다. 이는 탐지 체제가 아니라 타당도 기반의 노동 분업입니다.
  • 대규모 AI 채점을 위한 의사결정 지향적 타당도: Curi 등 (2026)은 Acredita EB 국가 필기 평가에서 의사결정 지향적 타당도 관점을 보여줍니다. 그들은 AI 점수가 인간과 일치하는지뿐 아니라, AI의 오류가 인증 결정을 바꿀 수 있는지를 묻습니다. 자동화된 IRT/Bookmark 커트 점수는 운영 커트 점수를 충실히 재현했고, 체계적인 AI 과소 채점은 불합격으로 판정된 AI 결과를 인간 검토로 라우팅하여 중화되었습니다. 이는 동일한 50개 텍스트를 채점한 전문 채점자 10명이 어떤 채점 기준 항목에서도 만장일치에 이르지 못했다는 점에서, 그 자체로 논쟁의 대상이 되는 참조 기준에 맞서 이루어진 것입니다.
  • AI를 채점자로 보는 학생 쪽의 타당도 우려: AlGhamdi (2026)는 타당도의 질문에 학습자의 목소리를 더합니다. 손으로 쓴 글쓰기 과제가 ChatGPT로 채점된 컴퓨팅 전공 학생 13명은, AI 채점자가 의도, 노력, 제도적 채점 규범을 타당하게 해석할 수 있는지를 의심했습니다. 한 학생은 날카롭게 "ChatGPT[가] 시험을 채점한다면, 우리가 대학에 와야 할 이유가 뭡니까?"라고 물었습니다.
  • 허용 자체가 과제를 저하시키지는 않으며, 사용률은 잘못된 타당도 신호이다: Zou 등 (2026)은 생성형 AI 사용을 명시적으로 허용한 평가를 받은 예비 교사 85명을 조사하고, 평가 참여도가 높았으며 학생이 사용했는지 여부에 통계적으로 영향받지 않음을 발견했습니다(평균 4.21/5, SD 0.46; Mann–Whitney U = 781.5, r = 0.07, p = 0.536). 응답자의 62.4%(53명)가 생성형 AI를 전혀 사용하지 않기로 했고, 사용한 사람들의 용법도 대개 교열(43.8%)과 명확성 점검(34.4%)에 국한되었습니다. 따라서 도입률은 그 평가가 학습에 관한 추론을 여전히 정당화하는지에 관해 거의 정보를 담고 있지 않으며, 잘못된 표절 혐의에 대한 두려움(비사용자의 41.5%)에 따른 비사용 역시 타당도의 증거가 아닙니다.
  • 학교 단위 시험이 시스템 증거로 읽힐 때의 표집틀 타당도: Restrepo Morales 등 (2026)은 점수로부터 시스템에 관한 주장으로 나아가는 추론에 정량적 분석을 적용합니다. 엘살바도르 학교 171곳의 자원봉사 학생 1,198명을 대상으로 한 PISA 기반 학교용 시험(Test for Schools) 파일럿 평가는 독일과 스웨덴에 비교 가능한 결과를 산출한다고 발표되었지만, 그 도구는 학교 단위의 추정치를 산출할 뿐 응답률 기준, 제외 한도, 가중치를 갖춘 국가 표집틀 하에서 시행되지 않았습니다. 따라서 학교 단위 추정치와 국가 평균 사이의 비교에는 최소한 세 가지 보고되지 않은 불확실성의 원천이 따릅니다(학교 단위 표집 오차, 국가 평균의 표집 오차, 척도 동등화의 연결 오차). 저자들은 학습 주장을 검증하기보다 그것을 구속합니다. 학습 효과가 전혀 없을 때 엘살바도르 수학 분포의 상위 5.5%가 독일 평균과 일치하고, 자발적 참여가 성취도 검사를 상향으로 편향시키는 것으로 이해되므로, 발표된 증거는 실제 효과와 선택된 표본을 구분할 수 없습니다. 이는 학생이나 도구가 아니라 그 비교의 타당도 추론의 실패입니다.

이 페이지에 있는 모든 AI 매개 평가에 적용되는 타당도의 경계를 하나의 개념적 제안이 제시합니다. El Khoury와 Ma (2026)는 속도가 타당도가 아니라고 주장하며, AI가 생성한 프롬프트, 예시, 전사 기반 보고서 역시 정확성, 문화적 반응성, 접근성, 해석 가능성, 그리고 강의 성과와의 정합성에 관해 검증되어야 한다고 봅니다. 또한 무엇이 증거로 간주되는지를 넓힙니다. 대화가 평가되는 산출물이 되는 곳에서는, 전사는 판단, 공감, 명료화, 공유된 의사결정이 맥락 속에서 전개되는 과정 기록이며, 따라서 설계의 문제는 그 증거가 그것으로부터 도출되는 추론을 뒷받침하는지가 됩니다. 이는 자동화된 채점이 마주하는 것과 같은 질문이며, 기술적 참신함이 아니라 과제, 피드백, 학습의 증거 사이의 정합성에 의해 답해집니다.

  • AI가 부여한 문항 메타데이터는 심리측정학적 증거가 아니다. 10주간 진행된 데이터 과학 연구에서 실제 배치된 선다형 문항 311개를 분석한 결과, LLM의 난이도 평가는 모델 자신의 Bloom 분류를 추적했을 뿐(rho = 0.90) 경험적 문항 난이도는 추적하지 않았습니다(rho = 0.06). 따라서 문항 난이도는 생성 모델의 분류가 아니라 응답 데이터로부터 확립되어야 합니다(An & Wang, 2026).
  • 학생들의 교육과정 정합성 판단은 내용이 아니라 난이도를 따른다. Vogt 등 (2026)은 학생들에게 성적이 부여되는 60문항 시험의 각 문항이 강의 교육과정과 정합하는지 평가하게 했고, 그 평가 결과가 문항 난이도와 ρ = 0.762로 상관됨을 발견했습니다(쉬운 문항은 정합한다고, 어려운 문항은 정합하지 않는다고 판단되었으며, ρ = −0.762, p < 0.001). 한편 그 평가는 문항의 출처에 따라 차이나지 않았습니다. 도구가 학생에게 평가의 교육과정 적합성을 판단하도록 요구하는 곳에서는, 그 결과 점수는 부분적으로 난이도 평가이며 정합성의 독립적 증거로 읽힐 수 없습니다.
  • 평가의 삼각형을 한 꼭짓점만 덧대는 대신 재정렬하라. Koretsky 등 (2026)은 생성형 AI 문제를 평가의 삼각형 — 인지(무엇이 평가되는가), 관찰(학습의 증거가 어떻게 끌어내지는가), 해석(도출되는 추론) — 을 통해 프레이밍하며, 세 꼭짓점이 함께 재정렬되어야 한다고 주장합니다. 해석을 수리하지 않고 과제만 재설계하면 추론은 지지받지 못한 채 남기 때문입니다. 이들의 범위 검토(scoping review)는 또한 AI 생성 평가 자료의 충실도를 그 자체로 하나의 타당도 성질로 만듭니다. 내용, 언어, 인지, 행동, 구조, 교수법적 차원을 망라하고, 그러한 과제가 평가의 근거가 되기 전에 인간 개입형 평가를 요구합니다.

탐지가 아닌 재설계

이 지식베이스는 평가 타당도를 유지하려면 AI 사용을 탐지하는 것이 아니라 AI를 활용할 수 있는 학생을 위해 평가를 재설계해야 한다고 주장합니다. 연구 측정에서도 이에 평행하는 타당도 문제가 관통합니다. AI 교육 분야의 많은 주장은 학습이나 역량에 관한 추론을 뒷받침할 수 없는 자기보고 데이터에 기대고 있습니다. 탐지를 넘어서는 접근과 평가는 타당도를 앞세우는 사고를 대표합니다.

핵심 산출물과 질적/정량적 구분. Brunnström과 Palmqvist (2026)는 SOLO 분류체계에 토대한 구체적인 제안으로 재설계 논증에 살을 붙입니다. 챗봇과 함께 인지과학 수업의 테이크홈 시험 문제를 풀어나가는 과정에서, 그들은 생성형 AI가 분류체계가 가장 낮은 지점에서 가장 강력하다는 것을 발견합니다. 즉 정량적(다중구조) 수준에서 포괄적이고 유창한 사실 지향적 내용을 산출하는 데 강한 반면, 질적 수준(관계 맺기, 평가하기, 일반화하기)은 반복된 학습자 주도의 교정을 통해서만 출현했습니다. 따라서 그들의 권고는 구성에 따라 구분됩니다. 테이크홈 평가는 질적 이해의 증거를 강조해야 하며, 정량적 회상 기반 지식은 생성형 AI를 사용할 수 없는 수업 시간에 평가하는 편이 낫습니다. 이 시연은 또한 제출된 정제된 산출물이 어느 방향으로든 약한 증거임을 분명히 하며, 정당한 AI 지원 학습이 얼마나 요구적인지를 타당한 재설계가 감안해야 함을 보여줍니다(총괄평가, 학문적 진실성).

재설계 논증이 대개 무시하는 바로 그 집단으로부터 설계 차원의 대응이 나옵니다. Zou 등 (2026)은 성찰적이고 개인화된 과제가 AI의 도움을 받기에는 너무 사적이라고 널리 판단되는 반면, 다른 강의의 지식 집중형 평가는 참고문헌을 위해 생성형 AI를 사용하려는 강한 의도를 불러일으켰음을 발견했습니다. 즉 학생들이 AI로 무엇을 했는가는 과제가 자신에게 어떤 구성을 증거로 보일 것을 요구했는지를 추적했습니다. 타당도를 위한 교훈은 축하가 아니라 정밀합니다. 설계는 일반적 대체로부터 얻을 이익을 제거할 수 있지만, 동일한 연구는 비사용 집단을 그것을 하지 않았다는 증거로 읽는 데 경고합니다. 비사용의 상당 부분은 과제가 AI에 저항했기 때문이 아니라 잘못된 표절 혐의에 대한 두려움에 기인했기 때문입니다.

Sharma (2026)는 무결성 증거를 타당도 증거로 바꾸는 무결성 쪽의 재설계 논증을 제공합니다. Eaton(2023)의 포스트표절(postplagiarism) 틀을 평가 설계로 확장하면서, 그는 탐지 및 검증 기반의 무결성 모델은 인간의 판단과 기계의 생성이 뒤얽힌 작업과 조화되지 않는다고 주장하며, 무결성을 교수법적 실천으로, 즉 평가적 판단을 통해 구현되는 실천으로 재규정합니다. 이는 불확실한 인식론적 조건 아래에서 선택을 저울질하고, 학문적 선택을 정당화하며, 책임을 지는 능력입니다. 이에 따른 설계상 결과는 무결성이 추론되는 것이 아니라 증명되어야 한다는 것입니다. 주석이 달린 의사결정의 흔적, 생성형 AI가 기여한 주장의 검증, 구술 변론, 버전 이력이 무결성의 산출물로 제시됩니다. 또한 그는 실제적 평가와의 차이가 인식론적이라고 분명히 말합니다. 진정성은 과제가 실제 전문 실천을 반영하는지를 묻는다면, 무결성 지향 설계는 학습자가 학문적 기준에 맞서 의사결정을 정당화하고 책임을 질 수 있는지를 묻습니다. 따라서 무결성은 과제 구조 안에 내장된 평가 가능한 기준이 됩니다. 그는 자신의 제안이 내포하는 타당도 위험을 암묵적으로 남기지 않고 직접 지명합니다. 문서화된 추론을 요구하는 것은 성찰적 담론에 능숙한 학습자에게 특혜를 주고 "하나의 규정 준수 체제가 다른 것으로 대체되는" 위험을 안으며, 증거로서의 판단은 "기계적으로 검증 가능하기보다는 관계적이고 상황 의존적으로 남기" 때문입니다. 이는 이 페이지가 모든 AI 매개 평가에 대해 기록하는 것과 같은 해석-신뢰도의 문제입니다.

Weidlich (2026)는 재설계를 어떤 변화가 보호하려는 추론이 무엇인가의 문제로 재프레이밍합니다. Kane의 논증 기반 타당도에서 출발하여, 토론이 하나로 뭉뚱그리기 쉬운 다섯 가지 압력을 구분합니다. 구성 과소대표, 구성과무관 분산, 수행의 귀속, 조건부 외삽, 그리고 뒷받침되지 않는 점수 사용입니다. AI 사용이 자동으로 위협은 아닙니다. 의도된 구성이 AI 지원 전문적 판단인 곳에서는 도구 사용이 적절한 반면, 보조 없는 추론이 목표 수행인 곳에서는 목표를 우회하기 때문입니다. 따라서 구성과 AI 조건은 함께 규정되어야 합니다. 재설계에 관한 그의 경고가 이어집니다. 개입은 한 압력을 다른 압력과 교환하기 때문입니다. 구술 변론은 귀속을 강화하면서 신뢰도나 접근성을 떨어뜨릴 수 있습니다.

연결

평가 타당도는 실제적 평가, 자동 채점, 확신 인식 AI 평가, 형성평가, 학문적 진실성, 그리고 무작위 대조 시험(타당한 결과 측정에 의존함)와 연결됩니다.

AI는 인식론적 수준에서 타당도에 도전합니다. Hathcoat, Slotnick과 Miller (2026)는 LLM이 시험 응시자, 출제자, 채점자, 분석자로 기능할 때 해석의 사슬이 불투명해지고 측정의 대상이 정의를 잃는다고 주장하며, 타당도가 AI에 능숙한 "사이보그" 판단을 요구하는 것으로 재규정됩니다. 또한 Green 등 (2026)은 AI 점수가 인간 채점자와 정합할 수 있음(체크리스트의 87%)을 보이지만, 그 이면의 근거는 특히 측정의 질과 취약한 보고서에서 갈라집니다.

AI가 평가 가능한 산출물을 생성할 때. Kumar, Wongsirichot와 Nanthaamornphong (2026)는 타당도 문제에 가장 날카로운 학문 분야의 사례를 제공합니다. 컴퓨팅 교육에서는 채점되는 산출물인 소스 코드를 AI가 생산하므로, 도구 사용, 학습, 평가가 하나의 상호작용으로 융합하며 제출된 코드베이스는 더 이상 학습과 위임을 구분하지 못합니다. 72개 연구에 걸쳐, 그들은 보조 없는 수행으로 전이되지 않는 효율성 향상(21개 연구), AI의 도움이 숙련이 되는지를 사전 지식이 조절하는 현상(6개 연구), 그리고 탐지 연구가 증거 기반에서 사실상 부재함(3개 연구)을 발견하는 반면, 평가 재설계는 비교적 잘 입증되어 있습니다(25개 연구). 실천을 위한 그들의 결론은 구성에 특수하면서 저기술적입니다. 강의당 고부담 평가 최소한 한 개에 구술 구성 요소나 다른 과정 가시적 요소를 추가하라는 것인데, 이는 해당 검토에서 가장 레버리지가 큰 단일 개입입니다. 그리고 AI 출력에 대한 비판적 참여를 선택적 태도가 아니라 채점되고 관찰 가능한 구성 요소로 요구하라는 것입니다(학문적 진실성, 평가).

불완전한 정보 하에서의 타당도

가장 날카로운 최근의 재프레이밍은 생성형 AI 문제를 증거의 문제로 다룹니다. 학생은 작업이 어떻게 생산되었는지를 알고 있습니다. 기관은 산출물과 기껏해야 과정의 일부 흔적을 관찰합니다. 이 산출물–과정 간극을 Mohamed와 Temimi (2026)는 불완전한 정보 하에서의 평가 타당도로 정형화합니다. 이 관점에서 문제는 규칙이 위반되었는지가 아니라, 평가가 학생의 추론, 노력, 판단에 관한 신빙성 있는 증거를 여전히 산출하는지입니다. 그리고 금지, 모니터링, 공개, 재설계라는 각 제도적 메커니즘은, 그것이 어떤 학생 대응을 가장 매력적으로 만드느냐에 따라 평가됩니다. 타당도의 렌즈는 또한 하나의 거짓된 구분을 녹입니다. 무결성과 타당도는 한 문제를 양끝에서 본 것일 뿐입니다. 부정행위의 판정은 그 작업이 무엇을 증거하는지에 관한 타당도 주장 그 자체이기 때문입니다.

학습자 쪽의 틀은 산출물이 스스로 해결할 수 없는 추론의 대상을 지명합니다. Sak (2026)은 AI 지원 작업에서 영재 가능성의 판단을 위한 귀속적 타당도를 제안합니다. 능력에서 산출물로의 관계는 다대일입니다. 학습자의 역량, 모델의 능력, 학습자의 방향 설정, 인간–AI 적합성, 맥락이 서로 다르게 결합하여 동등한 산출물을 낳기 때문이며, 따라서 산출물은 그 뒤에 있는 능력을 식별할 수 없습니다. 이 틀은 추론의 네 가지 대상 — 독립적 역량, 지적 학습자 주체성, 하이브리드 능력, 발달적 전이 — 을 구분하며, 한 대상의 증거가 다른 대상의 것으로 읽힐 때 따르는 세 가지 오류를 지명합니다. 과소귀속, 발달적 착각, 능력 동등성의 추정입니다. 이 틀이 기록에 요구하는 바는 이 절이 불법행위 문헌에서 이끌어내는 증거 규율과 궤를 같이합니다. 판단이 어떤 능력에 관한 것인지 명명하고, 작업이 어떻게 생산되었는지를 문서화하며(모델과 버전, 인터페이스, 허용된 기능, 성인의 매개, 접근 조건), 지원받은 수행을 학습자의 변화로 읽기 전에 전이의 후속 증거를 요구하는 것입니다.

Teichmann (2026)은 절차적 결론을 도출합니다. 금지된 사용이 탐지될 수 없는 곳에서는, 탐지기 점수로 여전히 고발하는 체제가 자신이 도출하는 추론을 보증할 수 없으며, 따라서 효과 없이 불공정만을 산출합니다. 그는 법의학적 질문 — 학생이 AI를 사용했는가? — 을 타당도의 질문 — 학생이 과제가 증명하도록 설계된 능력을 보여주었는가? — 으로 대체할 것을 주장합니다. 이는 제도의 노력을 연결된 과제들에 걸친 프로그램 차원의 평가, 인증 시점의 구술 및 감독 요소, 그리고 평가의 명시적 대상으로서의 평가적 판단로 재배치합니다.

동일한 증거 기반의 이 부분은 사례 파일에 해당하는 것을 제공하는데, 그것은 탐지 문헌만으로 얻어지는 것보다 더 불편합니다. Munoz 등 (2026)은 호주의 한 지역 대학에서 3년간 접수된 모든 생성형 AI 불법행위 사례를 코딩했습니다. 1,162건의 사례에 1,855개의 개별 증거 항목이 포함되어 있었고, 각 항목은 관련성, 신빙성, 추론적 설득력에 따른 증명 가치로 평가되었습니다. 가장 강한 범주들은 텍스트의 확률적 분류에 의존하지 않는 것들이었습니다(학생의 자백, 시험 중 관찰된 금지 행위, 독립적으로 검증된 날조된 참고문헌). 반면 탐지기 출력은 모든 범주 중 가장 약한 평가를 받았습니다. 유사도 보고서나 Turnitin 보고서는 추론적 설득력이 전적으로 약했고, 단독 탐지기 출력은 신빙성이 전적으로 낮았으며, 2024년 항목의 8.8%에서 2025년 0.5%로 떨어졌습니다. 타당도의 실패는 도구적인 것만큼 절차적이기도 합니다. 파이프라인의 어떤 단계도 최소 증거 임계값을 설정하거나, 조사관이 고발을 진행하기 전에 증명 가치를 저울질하도록 요구하지 않았습니다. 따라서 증거의 질과 사례 결과 사이에 신뢰할 만한 관계가 나타나지 않았는데, 이는 바로 법적 쟁점과 위험에 정리된 증거 기준의 문제입니다. 저자들이 결정 단계뿐 아니라 고발 시점에 자격증명(credentials) 틀을 적용하자고 제안한 것은 타당도의 요구입니다. 고발은 그 작업이 무엇을 증거하는지에 관한 주장이며, 그것을 뒷받침할 수 있는 자료에 의해 보증되어야 합니다. Hadra, Cambridge와 Mesbah (2026)는 그 도구가 그 기준에서 얼마나 멀리 떨어져 있는지를 보여줍니다. 192개 텍스트에 걸쳐 매크로 정확도가 0.69(Originality) 대 0.61(Turnitin)이며, 인간–AI 혼합 글쓰기에서는 거의 완전한 실패를 보입니다(민감도 0.02와 0.31). 텍스트 길이가 길어지고 과학적 글쓰기에서 정확도가 떨어지며, EFL 학생의 글을 AI로 오분류하는 경향이 경계선상에 있습니다. 따라서 탐지기 점수는 불법행위 판정이 주장하는 사실을 확립할 수 없습니다.

인간 채점이라는 벤치마크와 그 상한선

영국 대학 세 곳의 진정한 에세이 761편에 대한 최전선 모델 세 개의 OpRaise 비교는 벤치마크를 타당도 논증의 일부로 만듭니다. 인간 채점은 학문적 판단이 사회적으로 수용되는 기준이라는 명시적 근거로 정답(ground truth)으로 사용되었습니다. 한편 저자들은 인간 채점자들 서로도 단지 중간 정도로만 일치한다는 점을 인정하는데, 이는 합리적으로 요구할 수 있는 AI–인간 일치도의 상한선을 규정하며, 상관계수가 준비 완료 여부의 판단으로 읽힐 수 없음을 의미합니다. 그 틀 안에서 실패는 무작위 오류가 아니라 체계적인 구조로 나타났습니다. 채점이 척도의 중앙으로 압축되어, 가장 좋은 에세이와 가장 나쁜 에세이가 가장 심하게 오판되었습니다. 일치는 성적 경계선에서 가장 약했습니다. AI 채점은 어휘의 폭, 연결어, 문장 복잡성을 추적한 반면, 인간 채점은 이들에 대체로 둔감했습니다. 실천적 교훈은 양날의 검입니다. 동일한 연구가 신뢰도는 탁월했다고 발견했기 때문입니다(시간에 걸친 동일한 재채점, 그리고 모델 간 높은 일치). 따라서 자동 채점의 타당도 논증은 안정성이나 평균 일치도 위에 세워질 수 없으며, 체계적 편차가 없다는 것을 보여야 합니다. 바로 이것이 이 증거가 찾아내지 못한 것입니다.

그러나 실행 간 안정성이 보장되는 것은 아닙니다. 동일한 제출물에 같은 채점을 5일 간격으로 반복했을 때 Krippendorff's alpha 0.625가 나왔으며, 변동은 중간 성적에 집중되었고 반복 세션의 집계에서는 A와 F가 나타나지 않았습니다(Brevik 등 (2026)).

  • 모델의 크기는 평가 타당도의 대용물이 아니다. 114개의 채점된 에세이에 대한 네 계열의 여덟 구성에서, 정확한 등급대 일치는 18.4%부터 54.4%까지였고 이는 계열을 추적했을 뿐 매개변수 수를 추적하지는 않았습니다. 가장 큰 모델인 GPT-OSS 120B는 1.316 등급대만큼 과소 채점했으며, 온도는 해결책이 되지 못했습니다(Kerwat 등 (2026)).
  • 일치도와 벤치마크 오류가 학습으로 위장한다. 2026년 두 연구가 점수가 타당해 보이면서도 다른 것을 확립하는 서로 다른 경로를 보여줍니다. 개방형 마케팅 글쓰기 연구는 LLM–인간 절대 일치도가 ICC(2,1) .435에 불과하고, LLM 단독보다 유의미하게 나쁜 하이브리드를 발견했으며, 기준 문항 작문이 일치도를 .338에서 .902로 끌어올렸습니다(Agreement and error in automated scoring of student marketing posts). 여섯 개 물리학 벤치마크에 대한 전문가 감사는 감사된 거부의 95.20%를 모델 오류가 아니라 결함 있는 문항이나 채점자에 귀속시켰고, CritPt mean@5를 32.29%에서 87.50%로 옮겼습니다(How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). 두 경우 모두 위협은 채점되는 모델 외부에 있는 구성과무관 분산입니다.
  • LLM 코더들 사이의 일치는 일관성일 뿐 타당도가 아니다. 전문가가 라벨링한 교육 대화 말뭉치에서, 교차 모델 일치 필터는 말뭉치에서 도출된 행동 주장 74개 중 33개와 구성에서 도출된 주장 48개 중 11개만을 남겼고, 공유된 모델 오류는 그 필터를 통과했습니다. 따라서 모델 간 일치는 구성 타당도를 대신할 수 없습니다(Bernado 등, 2026).
  • 노출은 측정 가능하며, 해결책은 최대의 보안이 아니라 충분한 증거이다. Villanueva (2026)은 공개된 형식, 감독 여부, 성적 비중에 따라 평가 문항 53,915개에 점수를 매기고, 평가되는 성적의 대부분이 제출 이후 저작권을 확인할 수 없는 작업 위에 놓여 있음을 발견했습니다. 그는 프로그램이 모든 단원을 안전하게 만드는 것이 아니라 핵심 단계에서 학습의 증거를 충분히 가질 필요가 있다고 주장합니다.
  • 타당한 측정이라도 그것을 최적화하는 것은 안전하지 않을 수 있다. 채점 기준표 형태의 적응성 지표에 맞추어 LLM 튜터를 미세 조정하면 그 지표는 상승한 반면(+0.05에서 +0.42), 맹검 전문가 평가는 하락했습니다(4.46에서 3.03). 이는 의사결정을 독립적으로 채점하는 지표가 단 하나의 최선 의사결정을 반복함으로써 극대화되기 때문입니다(Domínguez Figaredo & Fernández De la Cruz, 2026).

연결된 개념

연결된 문서

연결된 FAQ

메타데이터

평가와 측정실제적 평가, 자동화 평가, 형성평가
연구 방법과 평가무작위 대조 시험
형평성, 윤리, 그리고 책임 있는 사용편향 완화, 형평성
교육에서의 인공지능 기초학문적 진실성
SourceHistoryEditChat

이 페이지 삽입

아래 코드를 복사하여 학습 관리 시스템이나 다른 웹사이트에 이 페이지를 삽입하세요. 삽입된 버전은 페이지 콘텐츠만 표시하며, 사이트의 헤더, 내비게이션, 푸터는 숨겨집니다.