우리 자신의 과목에서 AI가 학습을 더 잘 지원하도록 어떻게 만들 수 있을까요?

영어 페이지의 자동 번역이며, 아직 원어민의 검수를 받지 않았습니다.

일반 목적의 모형은 기꺼이 학생의 질문에 답해 줄 것이고, 그것은 여러분의 교과과정, 루브릭, 또는 여러분의 학생들이 실제로 저지르는 실수에 관해 아무것도 모릅니다. 그 간극을 메우는 것은 대개 훈련 문제로 규정됩니다. 이 지식베이스에서는 그것이 대부분 근거 제공(grounding)과 프롬프트 문제이며, 그 순서에 대한 증거는 비정상적으로 직접적입니다. 한 강좌 보조 도구 연구는 검색이 모형이 아니라 일차적 결정이라는 것과, 근거 제공이 없는 일반 모형이 평이한 TF-IDF 기준선보다 낮게 점수화된다는 것을 발견했습니다.

훈련은 실재하며 때로 필요하지만, 그것은 첫 번째가 아니라 세 번째나 네 번째로 시도할 것입니다. 다음은 낭비되는 연산을 피하는 순서로 된 사다리입니다.

간략한 버전

비용과 헌신의 증가하는 순서로 다섯 개의 지렛대가 있습니다. 프롬프트, 여러분 자신의 자료에 대한 검색, 파라미터 효율적 적응(LoRA 및 유사한 것), 전체 미세 조정, 그리고 선호 또는 보상 신호를 사용한 사후 훈련. 각 단계는 그 아래 단계보다 더 많은 데이터, 더 많은 연산, 더 많은 평가 규율을 소모하며, 측정이 그 상승을 정당화하지 않는 한 각 단계는 더 나쁜 첫 선택입니다.

연구 문헌은 대개 그 사다리의 꼭대기만을 보고하는데, 이것이 근거 제공으로 충분했을 때 훈련에 손이 가기 쉬운 이유입니다.

1단계: 여러분이 실제로 이길 수 있는 기준선을 얻으시오

무언가를 바꾸기 전에, 평이한 프롬프트에서 얻는 것을 기록하십시오. 그다음 하찮은 방법이 얻는 것을 기록하십시오. 왜냐하면 그것이 여러분을 정직하게 붙잡아 두는 숫자이기 때문입니다.

강좌 지식베이스 보조 도구 연구는 이것만으로 읽을 가치가 있습니다. 검색이 없는 지역 LLM은 52.3% 정확도에 도달했습니다. TF-IDF 기준선 — 수십 년 된 어휘적 방법 — 은 **55.4%**에 도달했습니다. 모형이 고전적 방법보다 못했습니다.

이 단계를 건너뛰면 여러분의 미세 조정이 도움이 되었는지 알 수 없으며, 키워드 검색이 이기는 것을 출시할 수 있습니다.

2단계: 모형을 여러분 자신의 자료에 근거를 두게 하시오

미세 조정 없이 강좌 자료에 대한 검색 증강 생성을 더하는 것이 같은 시스템을 52.3%에서 **66.6%**로 끌어올렸습니다. 이것은 이 지식베이스에서 비용에 대해 보고된 가장 큰 단일 이득이며, 가역적입니다. 여러분의 문서가 바뀔 때, 여러분은 재훈련이 아니라 재색인합니다.

다른 두 결과가 같은 방향을 가리킵니다. 글쓰기 지도에 대한 AI 커스터마이징에 관한 23개 실증 연구의 PRISMA 검토는 프롬프트 엔지니어링이 우세(N = 13), 미세 조정(N = 7)보다 앞선다는 것을 발견했습니다(Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design). 그리고 지식베이스가 최신 상태를 유지해야 하는 곳에서는, 검색이 훈련 작업을 재실행하지 않고 최신 상태를 유지하는 유일한 지렛대입니다.

검색은 또한 교수법적 형태를 가집니다. 모형을 여러분 자신의 풀이된 예와 루브릭에 근거를 두게 하는 것이 그것이 여러분이 설계한 비계질 안에 머물게 하는 방법이며, 일반적 조언으로 표류하지 않게 하는 방법입니다.

3단계: 루브릭에 대조하여 프롬프트를 설계하시오

프롬프트 작업은 여러분이 훈련을 기다리는 동안 하는 예비 작업이 아닙니다. 여기 두 결과가 그것이 단독으로 무엇을 달성하는지를 보여 줍니다.

• 반복적으로 공동 정제된 루브릭 안내 프롬프트가 학생 설계 작업에 대한 LLM–인간 일치를 54.75%에서 81.25%로 끌어올렸습니다(Cronbach의 알파 0.393 → 0.798), 미세 조정 없이(From evaluation to emulation: LLMs as agents of iterative pedagogical design).
• 문헌에 근거한 커스텀 프롬프트는 넓은 프롬프트의 0.40에 대조하여 목표 수학 AI에 대한 오개념을 0.98 존재로 이끌어냈습니다(Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching).

실천적 신호는 고원입니다. 문항 생성 연구에서 반복적 프롬프트 정제는 개선을 멈췄고, 그다음 최적화된 프롬프트에 대한 GPT-4.1의 미세 조정이 남은 이득을 더했습니다(How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment). 진짜 프롬프트 작업 뒤의 고원이 훈련이 무언가를 더할 수 있음을 보여 주는 여러분의 증거입니다. 고원에 도달하기 전에 훈련에 손이 뻗는 것은 추측입니다.

4단계: 목표가 안정적이고 구체적일 때 모형을 적응시키시오

여러분이 모형이 어떤 속성을 신뢰할 만하게 유지하기를 필요로 할 때 적응이 보답합니다. 읽기 수준, 출력 형식, 그것이 결여된 분야. 반복되는 결과는 목표 설정이 규모를 이긴다는 것입니다.

• 전문가가 설계한 아동 읽기 교과과정에 대해 미세 조정된 세 개의 8B 모형이 난이도 관련 지표에서 제로샷 GPT-4o와 Llama 3.3 70B를 능가했으며, 안전 문제는 무시할 만했습니다. 저자들은 이것을 규모보다 제어 가능성으로 규정합니다(Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety).
• Indian Knowledge Systems에 근거한 24,795개의 예 지시 데이터셋이 5명의 심사 위원 패널에서 6.39를 점수화한 7B 미세 조정을 만들어냈으며, 이는 배포 비용의 일부에서 강력한 일반 참조 모형의 0.15 이내입니다 — 반면 같은 기반 모형은 미세 조정 없이는 분야 특정 차원에서 0에 가까움을 점수화했습니다(IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems). "일반적으로 유능한 것"과 "여기서 유능한 것" 사이의 그 간극이 분야 적응의 전체 논증입니다.
• 대략 3,900개의 풀링된 채점된 예에서 훈련된 단일 LoRA 어댑터가 다섯 개의 작은 공개 모형(4B–30B)을 두 개의 컴퓨터 과학 시험에 걸쳐 인간 채점자와 동등하거나 그 이상으로 끌어올렸습니다(Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams). 하나의 어댑터, 하나의 데이터셋, 여러 기반 모형. 그것이 작은 팀이 실제로 운영할 수 있는 배포의 형태입니다.

표제의 안정적이라는 단어에 유의하십시오. 형식, 루브릭, 읽기 수준, 분야 어휘는 안정적인 목표입니다. 판단이 깃든 산문은 그렇지 않으며, 그것이 적응이 실패하는 곳입니다.

5단계: 생산하는 것뿐만 아니라 행동하는 방식을 바꾸시오

적응은 모형에게 무엇을 생산할지를 가르칩니다. 사후 훈련은 그것에게 어떻게 행동할지를 가르치며, 튜터링을 위해 그 구분이 전체 문제입니다. 일반 모형은 유용성에 관한 인간의 선호로 사후 훈련되며, 이는 신속하게 답하는 것을 의미하는 반면, 가르치는 것은 답을 보류하는 것을 요구합니다.

여기가 가장 강력한 교육 결과가 있는 곳입니다. EduQwen의 보상 모형은 직접 답변보다 안내하는 응답을 명시적으로 우선시했으며, 그것의 3단계 파이프라인은 CDPK 벤치마크에서 Gemini-3 Pro의 **90.55%**에 대조하여 **96.52%**에 도달했습니다(Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning). SWIM의 글쓰기 시뮬레이터는 모든 특성과 프롬프트에 걸쳐 루브릭 기반 프롬프트(최고 QWK 0.577)에서 지도 미세 조정(0.474 ± 0.023)으로, 강화 학습(0.618 ± 0.005)으로 옮겨갔습니다(SWIM: Student Writing Simulation via Proficiency-Conditioned Generation).

이 영역의 한 발견은 놓치기 쉽고 무시하기에는 값비쌉니다. 감독의 질이 감독의 양을 이깁니다. 지시 조정된 모형들은 오직 단계 수준의 풀이 궤적으로 훈련될 때 대수 오개념을 배웠습니다. 최종 답만으로 훈련될 때, 정확도는 모든 데이터 규모에서 30% 미만으로 남았습니다(Misconception Acquisition Dynamics in Large Language Models). 여러분의 훈련 예가 질문-정답 쌍이라면, 여러분은 잘못된 것을 훈련하고 있습니다.

모형 적응이 도움이 되지 않을 때

이것이 열광이 대개 건너뛰는 부분입니다.

• 판단이 깃든 텍스트. WrAFT에서 에세이 채점을 위해 성공적으로 미세 조정한 같은 프로젝트가 피드백을 위해 미세 조정했을 때는 잘리고 파싱 불가능한 출력을 생산했으며, 반면 Claude 3.7을 직접 프롬프트하는 것이 교사들이 가장 높게 평가한 피드백을 생산했습니다(WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays). 미세 조정은 모형에게 점수를 맞추는 것만을 가르쳤을 뿐, 글을 쓰는 것을 가르치지 않았습니다(QWK 0.84).
• 규모는 LoRA 적응 아래에서 하류 성능의 신뢰할 만한 예측자가 아니며, 동일한 하이퍼파라미터가 아키텍처에 걸쳐 질적으로 다른 행동을 생산했습니다(AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models). 한 모형에서 작동한 처방은 처방이 아닙니다.
• 아키텍처가 파라미터 수보다 더 중요할 수 있습니다. 세 개의 공개 텍스트-이미지 모형을 캡션이 달린 핵공학 이미지 1,000개로 미세 조정하는 것이 Stable Diffusion XL을 실질적으로 개선하고 SD-v3.5-Medium에게는 제한된 이득을 주었으며, Flux.1에게는 측정 가능한 개선을 전혀 생산하지 않았습니다(NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts).
• 때로 답은 훈련이 아니라 검증입니다. 훈련되지 않은 최전선 GPT-4는 튜터링 피드백을 작성할 때 대략 **35%**의 너무 일반적이거나, 올바르지 않거나, 답을 누설하는 힌트를 생산했고, 그것의 자동화된 질 점검은 인간의 판단과 불일치했습니다(Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models).

실천적으로 무엇이 필요한가

적응 단계에 대한 기준은 대부분의 팀이 가정하는 것보다 낮습니다. 수백에서 수천 개의 예와 단일 GPU. LoRA는 소수의 추가된 파라미터를 훈련하고 기반 가중치는 동결 상태로 남겨 두므로, 여러 모형이 하나의 어댑터에서 서비스될 수 있습니다.

랭크는 극대화할 다이얼이 아니라 트레이드오프입니다. 어댑터 파라미터 100만당 이득은 랭크가 오르면서 단조롭게 떨어졌으며, 강좌 수준의 정렬은 무료 업그레이드가 아니라 규모와 랭크의 결정이었습니다(LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects). 여러분이 적응시키는 층들도 진짜 선택입니다 — BERT 기반 담화 분석기의 마지막 4개의 Transformer 층만을 갱신하는 것이 최상위 층만 적응하는 것과 전체 깊이 미세 조정을 모두 이겼습니다(Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model).

과소평가하기 쉬운 비용은 연산이 아니라 평가입니다. 교육 AI가 올바르게 작동하고 있는지를, 점수만 잘 받는 것이 아니라, 어떻게 알 수 있을까?를 보십시오.

무엇을 기대할지 조정하시오

모형과 프롬프트 선택을 합쳐도 LLM과 학생 학습 성과 사이의 불일치의 약 **15%**만을 설명하며, 그 연구에서 벤치마크 가중치 부여와 만장일치 투표 앙상블은 정렬을 더 나쁘게 만들었습니다(Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact). 사전 훈련 데이터는 모형이 어떻게 행동하는지에 대한 지배적 지렛대이며, 그것이 여러분이 당길 수 없는 유일한 지렛대입니다.

그것은 위의 작업에 반대하는 논증이 아닙니다. 그것은 미세 조정이 설계 문제를 고칠 것으로 기대하는 것에 반대하는 논증입니다. 문제가 여러분의 튜터가 너무 기꺼이 답한다면, 훈련이 그것을 다룰 수 있습니다. 문제가 여러분의 학습자가 그것과 관여하지 않는다면, 훈련은 그렇지 못할 것입니다.

짧은 결정 순서

1. 프롬프트 전용 기준선을 기록하십시오, 하찮은 것도 포함하여. 2. 여러분 자신의 자료에 대한 검색을 더하십시오. 3. 여러분의 루브릭에 대조하여 반복적으로 프롬프트를 설계하고, 고원을 주시하십시오. 4. 목표가 안정적인 형식, 루브릭, 수준, 또는 분야일 때 LoRA로 모형을 적응시키십시오. 5. 어떻게 행동하는지를 바꿔야 할 때만 사후 훈련하고, 보상을 벤치마크에 대조하여 작성하십시오. 왜냐하면 그것은 조작될 것이기 때문입니다. 6. 답 수준이 아니라 단계 수준에서 감독하십시오. 7. 확신이 낮은 곳에서 인간을 루프 안에 유지하십시오. 8. 단일 차례가 아니라 전체 대화에 걸쳐 안전을 시험하십시오.

관련 질문들

• 학생에게 답을 주는 대신 안내하도록 AI 튜터를 어떻게 훈련할까요? — 사후 훈련 절반을 자세히
• 교육 AI가 올바르게 작동하고 있는지를, 점수만 잘 받는 것이 아니라, 어떻게 알 수 있을까? — 그것이 작동했는지를 어떻게 알 것인가
• 효과적인 AI 튜터를 개발하기 위한 모범 사례는 무엇인가? — 같은 목표의 상호작용 설계 측면
• 효과적인 교육 AI 소프트웨어를 설계하기 위한 모범 사례와 팁은 무엇인가?
• LLM 훈련과 미세 조정 — 전체 개념 페이지