이 페이지의 목차

이 페이지는 한국어로 번역되었습니다. 문서 페이지는 여전히 영어로 작성되어 있습니다. 이 페이지를 영어로 읽기

영어 페이지의 자동 번역이며, 아직 원어민의 검수를 받지 않았습니다.

GradeBench는 자동 평가에 대해 좁지만 유용한 질문을 던집니다. 학생의 손글씨 답안, 교수의 루브릭, 참조 풀이, 그리고 교수가 실제로 선택한 루브릭 항목이 주어질 때, 프런티어 모델도 같은 항목을 선택하는가? 골드 라벨은 시험과 퀴즈에서 나온 실제 교수와 조교의 루브릭 선택이지, 재채점된 모델 산출물이 아닙니다.

이것으로 할 수 있는 것

어떤 채점 업체의 정확도 주장이든 신뢰하기 전에 리더보드를 읽고, 리더보드를 신뢰하기 전에 과제 구성을 읽으십시오. 이 벤치마크는 열 개 이상의 기관에 걸친 45개 대학 강좌의 문항 125개에서 뽑은 과제 464개를 담고 있으며, 교수나 조교가 한 줄 한 줄 검토한 서술형 시험·퀴즈 문항으로 한정되고, 부분 점수 쪽으로 치우쳐 있습니다 — 만점 과제와 영점 과제는 모델이 그것들을 쉽게 풀기 때문에 각각 5%로 상한이 묶여 있습니다.

현재 리더보드의 최고점은 인간 일치도에 훨씬 못 미칩니다. 최고 모델은 정확한 루브릭 일치 57.3%에 도달하며, 사이트는 답안 1,000개당 비용 대비 정확도를 그래프로 보여 주는데, 0.8포인트 뒤진 모델의 비용은 약 7분의 1입니다. 채점은 물량 작업이므로 그 비용 축이 실용적으로 유용한 부분입니다.

독립적으로 구축된 두 번째 도구를 보려면 Learning Design Alliance의 AI Grading Benchmark를 참조하십시오. 호스팅 리더보드가 아니라 공개 저장소로 묶여 있으며, Porcaro의 연구에 요약되어 있습니다.

누구를 위한 것인가

채점 도구가 검토 없이 성적을 내보내도록 허용할지 결정하는 교수자, 조달 요구 사항을 작성하는 평가 전문가, 그리고 에세이 채점 상관이 아니라 루브릭 수준의 표적이 필요한 연구자를 위한 것입니다.

참고사항과 유의점

GradeBench는 상업용 AI 채점 플랫폼인 Pensive가 공개하므로, 벤치마크와 제품이 같은 소유자를 공유합니다. 과제 구성은 문서화되어 있고 방어 가능하지만, 프레이밍은 업체의 것으로 취급하십시오. 최소 네 개 항목의 루브릭을 갖춘 STEM 시험을 다루므로, 에세이, 단답형, 토론 게시물은 제외됩니다 — 인문학 채점의 대부분이 이루어지는 형식들입니다. 정확한 루브릭 일치는 엄격한 지표입니다. 두 채점자가 한 항목에서 불일치하면서도 둘 다 학생에 대해 옳을 수 있습니다. 점수는 2026년 11월 이용 가능한 모델 버전을 서술하며 앞으로 움직일 것입니다.

연결된 개념

이 페이지 삽입

아래 코드를 복사하여 학습 관리 시스템이나 다른 웹사이트에 이 페이지를 삽입하세요. 삽입된 버전은 페이지 콘텐츠만 표시하며, 사이트의 헤더, 내비게이션, 푸터는 숨겨집니다.