모의 학생이 실제 학습자처럼 행동하게 하려면 어떻게 해야 할까요?

영어 페이지의 자동 번역이며, 아직 원어민의 검수를 받지 않았습니다.

모의 학생은 그럴듯하게 만드는 것은 쉽고, 진실되게 만드는 것은 어렵습니다. 일반 모형에게 고군분투하는 학습자 역할을 시키면 유창하고 그럴듯한 혼란을 만들어냅니다 — 모른다는 것의 올바른 어휘를, 올바른 어조로 말입니다. 그리고 그 학생이 지적받은 뒤에 뭐라고 할지 물으면, 조용히 답을 맞히게 됩니다.

그 간극이 문제의 전부이며, 그것은 더 나은 페르소나 프롬프트를 작성하는 문제가 아닙니다. 이 페이지는 모의 학습자를 실제 학습자처럼 행동하게 만드는 것 — 시뮬레이터를 만들거나, 그것으로 연습하거나 시험하는 사람이라면 누구에게나 — 무엇이 실제로 작동하는지를 다룹니다.

간략한 버전

모형은 도움이 되고 정확하도록 훈련됩니다. 학습자는 둘 다 아닙니다. 따라서 해야 할 일은 시뮬레이터가 무엇을 아는지와 그 지식이 어떻게 변하는지를 제약하고, 그것이 학습자처럼 들리는 것이 아니라 학습자처럼 행동하는지 확인하는 것입니다. 프롬프팅만으로는 거기에 이르지 못합니다. 아래의 증거는 상당히 일관되게, 프롬프팅은 훈련이나 구조가 제거하는 상한을 설정한다고 말합니다.

모의하지 않는 것을 아는 것에서 시작하기

시뮬레이터를 막 신뢰하려는 사람에게 가장 유용한 발견은 커버리지에 관한 것입니다. LLM 학생들을 가르친 교사 12명은 지나치게 복잡한 언어, 결여된 감정, 부자연스러운 주의 집중, 설명되지 않는 지식 도약을 보고했고, 그 모의는 실제 학생 행동 사분면 4개 중 1개만을 나타냈습니다(Martynova et al., 2026). 그들이 커버한 사분면은 모의하기 가장 쉬운 것이었습니다.

거의 아무도 확인하지 않는다는 점에서 이것은 중요합니다. 학습자를 모의한 연구 중 **3%**만이 사용 후 시뮬레이터를 검증합니다. 하나를 만들어 검증하지 않는다면, 여러분은 압도적 다수에 속하는 동시에 이 통계가 인용할 가치가 있는 이유이기도 합니다.

능력 역설: 여러분의 시뮬레이터는 너무 많이 압니다

정의상의 어려움은 능력 있는 모형이 부분적 지식 보유자 행세를 쉽게 할 수 없다는 것입니다. 연구는 이를 **능력 역설(competence paradox)**이라고 부릅니다: 폭넓게 능력 있는 모형에게 부분적으로 지식이 있는 학습자를 흉내내게 하면 비현실적인 오류 패턴과 학습 역학이 나옵니다.

그 표류에는 방향이 있으며, 그것은 모의가 가장 필요한 학습자들을 향합니다. NGSS에 정렬된 과학 수업 49개에서 가져온 학생 아이디어를 대상으로, 여섯 모형은 대부분의 아이디어를 기대 지식 범위 안에 유지하고 약 3분의 2를 목표 읽기 수준 이하로 유지했습니다 — 그러나 학습자가 가장 어린 지점에서는 정확히 초과했습니다. 초등 및 중학교 아이디어는 목표 학년의 지식 범위와 읽기 수준을 더 자주 초과했고, 코퍼스 전체는 더 넓은 추론, 더 기술적인 어휘, 그리고 실제 수업 아이디어보다 적은 불확실성 표지("아마도", "~인 것 같다") 쪽으로 기울었습니다(Nguyen and Cao, 2026).

그 연구에서 얻은 두 가지 실무적 참고사항. 모형 선택은 단일 차원이 아닙니다 — 수업 아이디어를 밀접하게 일치시키는 체계도 그것들을 학년 수준 위로 던질 수 있습니다. 그리고 수정은 종종 구조적이라기보다 교수적입니다: 명시적인 학년 수준 재프롬프트가 대부분의 모형을 범위 안으로 되돌렸습니다.

표면적 현실감은 잘못된 목표다

학생처럼 들리는 시뮬레이터도 학생의 믿음을 담보하지 않을 수 있으며, 통상적인 품질 점검은 그 차이를 알 수 없습니다.

그 실패는 정량화되어 있습니다. 4B에서 120B 파라미터에 이르는 일곱 개 모형 전반에서, 시뮬레이터는 어떤 피드백을 받든 거의 균일한 비율로 정답으로 뒤집었습니다 — 따라서 출력 유사성은 그것 뒤에 있는 믿음 상태에 대해 아무것도 말하지 않습니다. Selective Flip Score에 대해 훈련하면 충실도가 최대 +0.56까지 상승했습니다(Do, Sonkar & Sachan, 2026). 시뮬레이터가 오개념을 유지하게 하려면 그 속성을 위해 훈련해야 합니다. 텍스트에서 읽어낼 수는 없습니다.

반대의 오류도 일어나므로, "사람처럼 보이는가?"는 양방향으로 미흡한 검사입니다. 눈을 가린 연구에서, 전문가 평가자들은 LLM이 생성한 Java 제출물의 **196개 중 164개(83.7%)**를 사람이 작성한 것으로 잘못 분류했습니다 — 오류들이 진짜 오류들과 기능적으로 구별되지 않았던 것입니다. 실제 오류와의 정합성은 문제 난이도가 높아짐에 따라 떨어졌습니다(Keramati et al., 2026).

프롬프팅은 훈련이 제거하는 상한을 설정한다

SWIM은 세 접근법의 가장 명확한 비교입니다. 각 생성 에세이를 목표 특성 프로파일에 맞춰 채점하기 때문입니다:

• 루브릭 기반 프롬프팅: 강력한 사유 모형에게도 제한된 제어 — 최고 평균 특성 QWK 0.577(Claude Sonnet), 0.422(GPT-5.4), 공개 7B 모형은 거의 0에 가까움.
• 실제 점수-에세이 쌍에 대한 지도 미세조정: 그 7B 모형에서 0.474 ± 0.023.
• 자동 에세이 채점 유도 보상을 사용한 GRPO: 0.618 ± 0.005, 그리고 정책이 전혀 훈련되지 않은 두 독립 채점자에게도 이득이 유지됨(SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

프롬프팅은 또한 이상화된 모집단을 만들어냈고, 현실적인 모집단을 만들지 못했습니다: 평균 정규화 전체 점수는 실제 학생들의 0.58에 대해 0.74였고, 길이의 중앙값은 167에 대해 304단어였습니다. 훈련된 모형들은 길이 감독 없이도 인간의 점수와 길이 분포를 회복했습니다.

한 가지는 여전히 어려웠는데, 현실감을 약속하기 전에 알아둘 만합니다: 진짜 저숙련 형태가 그것입니다. 훈련된 모형들은 통사론을 회복했지만 맞춤법과 문법 오류는 지나치게 적게 썼고, 한편 프롬프팅은 약점을 주로 피상적 훼손 — 즉 그럭저럭 유능한 산문에 뿌려진 오타 — 을 통해 모의했습니다.

시뮬레이터가 아는 것을 제약하는 두 가지 방법

모형이 너무 많이 안다면, 있어야 할 상태를 지정하거나 지식을 없애는 방법이 있습니다.

페르소나가 아니라 인식론적 상태를 조건으로 삼으십시오. 훈련이 필요 없는 프레임워크는 지식 그래프에서 각 학생의 인지적 원형을 구축하고 빔 탐색 후보를 그것에 맞춰 채점하여, 모의 정확도의 100% 향상을 보고합니다(Wu et al., 2025). 그것의 품질은 학생의 인지 수준과 함께 상승하며, 이것이 가져가야 할 발견입니다: 더 약한 학습자가 여전히 더 어려운 경우입니다. 그것들이 대개 핵심이라는 점에서 안타까운 일입니다. 정적인 페르소나가 아니라 인지 역학을 모형화하는 것이 더 나아갑니다 — CogEvolution의 ICAP 기반 상태 갱신은 정적 에이전트가 0.45에 이르는 곳에서 R²LC = 0.92에 도달했고, ICAP 모듈 없이는 0.58로 떨어졌습니다(Zhang et al., 2026).

또는 지식을 제거하십시오. Mistral-7B에서 목표로 한 지식 구성요소 16개를 억제하자, 10% 망각 비율에서 약 0.75였던 정확도가 40%에서 0.5 미만으로 떨어졌고, 기초 모형은 약 0.85를 유지했습니다 — 그리고 억제된 지식은 지도 재학습과 코치 안내 대화를 통해 복구 가능한 것으로 드러났습니다(Song, Guo & Lin, 2026). 이는 초보자를 직접 제조하는 것에 가장 가까운 것이며, 세션 중에 시뮬레이터가 학습하기를 원한다면 복구 가능성은 장점입니다.

페르소나가 아니라 상호작용을 스크립트화하라

페르소나 안정성은 모형 선택의 문제가 아니라 상호작용 설계의 문제로 드러납니다. 다섯 LLM을 세 가지 프롬프트 설계와 네 가지 ADHD 강도 페르소나로 교차했을 때, 스크립트화된 과제 고정 상호작용은 관찰자 평가 행동 표류를 제거했고 — 스크립트 없는 대화보다 최대 97% 적게 나타났습니다. 그리고 명시적인 페르소나 지시 없이는, 기초 학생 표상이 높은 ADHD 증상 쪽으로 치우쳤습니다(Gonnermann-Müller, Haase & Leins, 2026).

실무적 해석: 시뮬레이터가 표류한다면, 해결책은 어떤 모형을 선택했는지나 학생을 어떻게 기술했는지가 아니라, 턴마다 그것에게 무엇을 시키는지에 있을 수 있습니다.

하나가 아닌 두 개의 축에서 점검하라

"이 시뮬레이터가 쓸 만한가"에 대한 가장 명확한 형식화는 StudentSim에서 나오는데, 이것은 두 가지가 함께 성립하기를 요구합니다:

• 행동 충실도 — 시뮬레이터가 학생 자신의 응답과 얼마나 잘 일치하는가.
• 안내 반응성 — 그것이 지도자의 안내가 이끄는 방향으로 얼마나 신뢰성 있게 갱신하는가.

그 벤치마크는 공개 학습자 코퍼스(체스, 제2언어 영어 작문, 수학)를 개별 학생 프로토콜로 변환하여, 어떤 시뮬레이터든 그 위에서 적합화되고 홀드아웃 기록에 대해 채점됩니다. 결과는 유용한 진단입니다: 분야 특정 상태 추적은 반응성에서 약했고, 프롬프트 전용 LLM 역할극은 충실도에서 약했습니다(Yang et al., 2026). 시뮬레이터는 한 검사를 통과하고 다른 하나를 실패할 수 있으므로, 둘 다 보고하십시오.

개념 증명으로, 체스 지도 강화 학습 루프의 보상으로 사용된 고정된 StudentSim은, 최첨단 LLM 시뮬레이터 보상이나 RL 없이 훈련된 것과 비교했을 때 전문가들이 더 정확하고, 더 나은 안내를 하며, 더 개인화되었다고 평가한 지도자를 만들어냈습니다. 좋은 시뮬레이터는 단지 측정 도구가 아닙니다 — 그것이 훈련 신호가 될 수 있습니다.

직관이 아니라 실제 학습자에 대해 검증하라

두 벤치마크가 검증이 무엇을 비용으로 얻는지 보여줍니다.

실제 학생–지도자 수학 대화의 최대 공개 코퍼스에서 가져온 382개의 홀드아웃 대화에 대해 9개의 모의 방법을 7개의 참조 기반 지표로 벤치마킹한 결과, 프롬프팅은 대화 행위(0.6840에 대해 0.4998), ROUGE-L(0.3212에 대해 0.1648), 코사인 유사도(0.7390에 대해 0.5460)에서 미세조정에 뒤졌습니다. 그러나 시험된 최고 방법인 8B 모형에 대한 선호 최적화는 지도 미세조정을 겨우 이겼을 뿐이고 오류에서는 더 나빴으며, 세 명의 지도자에 의한 인간 평가가 그 순위를 재현했습니다(Scarlatos et al., 2026). 교훈은 이 사다리의 정상이 중간보다 그리 높지 않다는 것이므로, 여러분의 시뮬레이터와 기준선 사이의 큰 격차가 작은 격차보다 더 많은 정보를 줍니다.

학생 시뮬레이터는 또한 잠재적 추론 없이 관찰 가능한 행동을 재현합니다. INSIDE는 각 행동 전에 내적 대화를 생성하도록 모형을 미세조정하여, 생성된 추론과 실제 코드 수정 사이의 최고 정합성 — 익숙한 문제에서 51.8%, 보지 못한 문제에서 57.9% — 에 도달하면서도 행동 충실도를 잃지 않았습니다(Niousha et al., 2026). 모의 학생이 왜 무언가를 했는지가 중요하다면, 행동 수준의 충실도는 충분하지 않습니다.

때로는 설명이 모의를 이긴다

코호트를 만들기 전에 알아둘 만한 결과입니다: 학생이 참여하기 전에 온라인 학습 경험을 평가하는 것 — 중단과 완료를 예측하고 설계 피드백을 제공하는 것 — 에서는, 수업을 통과하며 그 경험의 풍부한 설명을 만들어내는 단 하나의 "설명(describing)" 웹 에이전트가 학생 모집단을 직접 모의하는 것보다 더 나은 수행을 보였습니다.

그 비교에서의 모의 학생들은 실제 학습자보다 행동 범위가 훨씬 적었습니다: 다섯 개 시험 수업에서 100개의 에이전트가 실제 학생들이 간 경로의 약 **4%**만 재현했고, 연산 비용은 상당히 더 들었습니다. 설명-후-예측 파이프라인은 대규모 글로벌 CS1 강좌에서 최고의 중단 분포 예측을 달성했습니다(평균 JSD 0.060, 모든 기준선을 능가)(Wang, Mitchell & Piech, 2025).

그것이 그리는 경계는 유용합니다: 목표가 결과 예측이나 설계 비평일 때 학생의 분포를 모의하는 것은 불필요하거나 — 오히려 역효과적일 수 있습니다. 모의는 진짜 학습자 다양성을 커버하는 것이 중요할 때 비용을 정당화합니다. 예컨대 AI가 다양한 프로파일을 대하는 방식을 감사하거나, 교사에게 연습할 대상을 제공하는 것 같은 경우입니다.

시뮬레이터를 신뢰하기 전의 점검 목록

1. 여러분이 커버하지 않는 학습자가 누구인지 적어 두십시오. 모의는 대개 가장 쉬운 사분면을 포착합니다. 2. 산문이 아니라 믿음 상태를 점검하십시오. 시뮬레이터가 지적받은 뒤에 뭐라고 하는지 물어보십시오. 정답으로 뒤집는 시뮬레이터는 오개념을 유지하지 않는 것입니다. 3. 충실도가 중요하다면 프롬프팅만 의존하지 마십시오. 프롬프팅은 훈련이나 구조가 제거하는 상한을 설정합니다. 4. 페르소나를 기술하기보다는 지식을 어떻게 제약할지 결정하십시오 — 인식론적 상태를 지정하거나, 지식을 제거하거나. 5. 페르소나뿐 아니라 상호작용을 스크립트화하십시오. 과제 고정 턴은 행동 표류를 극적으로 줄입니다. 6. 충실도와 안내 반응성을 별도로 채점하십시오. 시뮬레이터는 하나를 통과하고 다른 하나를 실패할 수 있습니다. 7. 실제 학습자 데이터에 대해 검증하고, 여러분이 이긴 기준선을 보고하십시오. 여기서 최고 방법들은 그 아래의 방법들을 겨우 능가할 뿐입니다. 8. 모집단을 만들기 전에 단 하나의 설명 에이전트가 여러분의 질문을 더 값싸게 답할 수 있는지 점검하십시오. 9. 가장 약한 학습자가 가장 어려운 경우가 될 것을 예상하고, 시뮬레이터가 그들에 관한 결론을 도출하는 데 사용된다면 그 점을 밝히십시오.

관련 질문

• How do we know an educational AI is working correctly, not just scoring well? — 시뮬레이터에 대해 시험하는 시스템들을 평가하기
• How can we address common misconceptions about AI in education? — 모의 학생이 연구에서 실제 학습자를 대신할 수 있는지
• How can we make AI better at supporting learning in our own subject? — 위의 미세조정 결과 뒤에 있는 훈련 방법들
• 학생 시뮬레이션 — 전체 개념 페이지