LLMの訓練とファインチューニング

このページの内容

英語ページの自動翻訳です。母語話者による確認はまだ行われていません。

LLMの訓練とファインチューニング — 教育的なAIモデルがどう作られるか。事前訓練から事後訓練、適応までのパイプライン、各段階のコスト、そして証拠がそれを買うに値すると言うこと。整理のための問題は インセンティブの不一致 です。汎用モデルは答えるように最適化されていますが、教授には答えを差し控えることが求められます。事後訓練とファインチューニングは、その挙動を変える二つの梃子であり、ナレッジベースで最も明確な結果は、それらが第一の選択ではなく 第三の 選択だということです。検索とプロンプト設計が決定において先に来るのであり、このナレッジベースの一つの研究は、素のプロンプト設計が成功した課題で教師ありファインチューニングが失敗することを見出しました（WrAFT）。教育的なソフトウェア開発者と、何を構築するかを決める教授の実践者に向けて書かれています。

検討すべき問い

汎用モデルがあまりにも気軽に答えてしまう家庭教師の課題があるとして、あなたの最初の一手はより良いプロンプトでしょうか、自前の教材に対する検索でしょうか、それとも訓練でしょうか。どれが効いたかを知るために何を測定する必要があるでしょうか。
ファインチューニングにはデータが必要です。あなたのプロジェクトの訓練例はどこから来るでしょうか。誰がそれを所有するでしょうか。そしてそれらを使えるようになる前にどのようなプライバシーの審査を必要とするでしょうか。
このナレッジベースの一つの研究は、モデルを評価のデータでファインチューニングすると 書式と類似性 は改善した一方、別のファインチューニングはフィードバックの生成には完全に失敗したことを見出しました。それは訓練方法を課題に合わせることについて何を示唆するでしょうか。
強化学習を用いた事後訓練は、モデルに答えるのではなく導くことを教えられます。「よく導く」を捉える報酬をあなたはどう書くでしょうか。そしてモデルはどうそれをゲームするでしょうか。
ナレッジベースは、モデルとプロンプトの選択がLLMと学生の学習の伸びの間の隔たりのわずか約 15% しか説明しないと報告しています。それが正しければ、あなたの作るか買うかの決定をどう変えるべきでしょうか。
正確なファインチューニング済みモデルでも、長い会話全体では安全でないことがあります。学生に無監督で話させる前に何を検証するでしょうか。

はじめに

教育的なAIの開発は、二つの方向から同じ壁に突き当たります。汎用の言語モデルは、有用性についての人間の選好によって事後訓練されており、実際には迅速かつ完全に答えることを意味します。家庭教師にはその逆が求められます。なぜなら教授的な目標は答えを手渡すことではなく、学生が答えに到達するのを助けることだからです。同時に、汎用モデルはあなたのカリキュラム、あなたのルーブリック、そしてあなたの大学の声について何も知らず、どれだけプロンプト設計を施してもそれらを確実に組み込むことはできません。

このページは、送るテキストではなくモデルを変える技術を扱います。それらは コミットメントが増す階梯 の上に位置します。プロンプト設計、次に検索、次にパラメータ効率的な適応、次に完全なファインチューニング、次に選好または報酬の信号による事後訓練。それぞれの段は、その下の段よりも多くのデータ、多くの計算資源、多くの評価の規律を費やし、特定の測定が登ることを正当化しない限り、その下の段よりも悪い最初の選択です。研究文献の多くは、その階梯の頂上だけを報告しており、それによって開発者が検索で十分だったはずの場面で訓練に手を伸ばしやすくなっています。

このページは、構築者が実際に直面する決定を中心に構成されています。どの梃子を引くか（この節と次の節）、適応が実際に何を買い何を費やすか、適応ではできないことを事後訓練が形作れるか、そしてこれらのシステムがどう失敗するか。用語は標準的な意味で用いられます。事前訓練 は一般的なコーパスにおけるゼロからの段階、事後訓練 はその後、挙動を形作るすべてのもの（教師ありファインチューニング、選好の最適化、強化学習）、そして ファインチューニング は事後訓練の教師ありの段階と、後の課題または分野への適応の仕事——パラメータ効率的な方法を含む——の双方を覆います。

訓練のパイプライン、段階ごとに

アクセスのしやすさが大きく異なる三つの段階です。ある論文がどの段階を記述しているかを知ることは、この文献のほとんどの誤読を防ぎます。

事前訓練 は一般的なテキストのコーパスから基盤モデルを構築します。モデルの幅広い能力を生み出す段階であり、実質的にすべての教育的プロジェクトの手の届かないものです。コストは数百万ドルで測られ、データはウェブ規模の巡回です。このナレッジベースの何ものもそれを行いません。実践者にとってのその意義は、実行可能というより診断的です。事前訓練のデータはモデルの挙動を決める支配的な梃子であり、そしてあなたが引くことのできない唯一の梃子です。その非対称性こそが、この分野の残りの技術すべてが、すでに訓練されたモデルの上で働する理由です。

事後訓練 は基盤モデルの上に挙動を形作ります。教師ありファインチューニング（SFT）はモデルにお手本を模倣することを教えます。選好の最適化と強化学習は、それを、報酬モデルまたは一組の人間の判断が高く評価する出力へと押しやります。ここがモデルに答えるのではなく導くことを教えられる段階であり、最も驚くべき教育的結果が宿る段階です。それはまた報酬の設計に最も敏感な段階でもあります。なぜなら報酬は望むことの圧縮された仕様であり、モデルはあなたが実際に書いたものを何であれ最適化するからです。

適応は既存のモデルをあなたの課題または分野に合わせます。通常ははるかに少ないデータと計算資源で。パラメータ効率的なファインチューニング（PEFT）——その一般的な形態である LoRA——は、少数の追加されたパラメータを訓練し、基盤の重みは凍結したままにします。完全なファインチューニングはすべてを更新します。蒸留と学習の取消しはそれらと並んで位置します。以下の節がそれぞれを順に扱います。ほとんどの教育的開発者にとって、これが実践的な段階です。数百から数千の例と単一のGPUで配備可能なモデルを生み出せる段階です。

プロンプトか、検索か、訓練か。最初に来る決定

その問いに関するこのナレッジベースで最も強い単一の結果は、訓練の研究ではなく検索の研究です。コースのナレッジベース・アシスタントを構築した Shen ら（2026年）は、三つの構成でローカルモデルを評価し、検索こそが、モデルではなく、第一義的な設計の決定である ことを見出しました。検索なしの彼らのローカルLLMは 52.3% の精度にしか達せず、TF-IDF のベースラインである 55.4% を 下回り ました。一方、ファインチューニングを一切行わずに検索拡張生成を加えると、それが 66.6% に向上しました（Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources）。彼らがまた検証したファインチューニングの構成は、検索の除去実験、量子化、そして問い合わせあたりのエネルギーとともに報告されており、これが比較を並外れて正直なものにしています。接地のない基盤モデルは、数十年前に遡る語彙的な方法よりも悪くなりうるのであり、最も安い対処法は訓練ではないのです。

この分野が実際に構築しているものも、似た順序を反映しています。作文教育におけるAIのカスタマイズに関する23の実証研究（2020〜2025年）のPRISMAに導かれたレビューは、プロンプト設計が支配的（N = 13）で、ファインチューニング（N = 7）とハイブリッドなアーキテクチャ（N = 3）を上回る ことを見出しました（Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design）。このレビューの鋭い知見は、技術の順位づけではなく構造的な不整合です。述べられた教授的な目標は作文のプロセス、フィードバック・リテラシー、そして高次の学術的技能へと移ってきた一方、支配的な実装は依然として製品中心の目標をプロンプト設計やファインチューニングによって追い求めています。

プロンプト設計と訓練が正面から比較されたところでは、結果は課題に依存します。それはまさに、この決定が想定ではなく測定されるべき理由です。

目標が安定した出力の書式または制御された属性であるとき、訓練が勝ちます。 L2のリスニング評価における自動的な問題生成では、反復的なプロンプトの改良は頭打ちとなり、最適化されたプロンプトの上で GPT-4.1 をファインチューニングすると、プロンプト設計だけを上回る生成の改善が生じました。残りの伸びの原動力であるのは、プロンプト設計ではなくモデルの適応であることを切り出して示しています（How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment）。
目標が判断を伴う文章であるとき、プロンプト設計が勝ちます。 採点のために首尾よくファインチューニングされた同じシステムは、フィードバック には失敗しました。WrAFT では、ファインチューニングされた GPT-4o のモジュールは360本の保留されたTOEFLエッセイで QWK 0.84、RMSE 0.44 に達した一方、フィードバック生成のための教師ありファインチューニングは切り詰められ解析不能な出力を生み出し、Claude 3.7 に直接プロンプトを与えた方が教員が最高と評価するフィードバックを生み出しました（WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays）。ファインチューニングはモデルに得点を当てることを教えました。書くことは教えませんでした。
目標がペルソナまたはルーブリックであるとき、プロンプトレベルの整形が訓練を代替しうる。 反復的に共同で改良されたルーブリックに導かれたプロンプト設計は、学生の設計作品に関するLLMと人間の一致を 54.75% から 81.25% に引き上げました（Cronbachのアルファ 0.393 → 0.798）。いかなるファインチューニングもなしにです（From evaluation to emulation: LLMs as agents of iterative pedagogical design）。そして文献に根ざしたカスタムGPTのプロンプトは、対象となる数学の誤概念を、幅広いプロンプトでの 0.40 に対し 0.98 の出現率で引き出しました（Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching）。
そのすべてには天井があります。 Hardy & Kim（2026年）は、モデルとプロンプトの選択を合わせても、LLMと学生の学習の伸びの間の不一致の約 15% しか占めないと推定しており、残りは複数のモデルに分散しています。そして彼らは、ベンチマークの重みづけと全会一致の投票によるアンサンブルが整合を悪化させることを見出しました（Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact）。事前訓練のデータが支配的な梃子であり、それがあなたが引けないものだとすれば、これらの技術のどれが達成できるものについての期待は、それに応じて較正されるべきです。

ファインチューニングが買うもの。規模よりも制御可能性

汎用モデルが必要とする属性を保てないようにされるとき、控えめなデータセットでのファインチューニングはしばしばそれができます。そして繰り返し現れる結果は、狙いを定めることが規模に勝る ということです。専門家が設計した子どもの読解カリキュラムでファインチューニングされた三つの8Bモデルは、難易度に関わる指標でゼロショットの GPT-4o と Llama 3.3 70B を上回り、安全性上の問題は無視できる程度でした。著者たちはこれを、規模よりも制御可能性 として提示します。コンパクトなモデルは、汎用モデルに求めることのできない仕方で、特定の読解レベルと誤りのパターンに合わせて調整できるからです（Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety）。

このパターンは、非常に異なる課題にわたって繰り返されます。

カリキュラムへの接地。 インドの知識体系に接地した24,795例の多言語インストラクションデータセットは、5人の審査員からなる外部パネルで 6.39 を獲得した7Bのファインチューニングを生み出しました（1,201の層別化された項目上の中央値）。それは強力な汎用の参照モデルから 0.15 以内であり、配備コストはその一部です。一方、同じ基盤モデルはファインチューニングなしではインドの知識体系固有の次元で ゼロに近い スコアでした（IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems）。「一般的には有能」と「ここでは有能」の間のこの隔たりこそ、分野への適応のための主張全体です。著者たちが報告する逆直感的な詳細にも注目してください。質はデータのキュレーションとともに単調には 上がりませんでした。
安価に、評価の信頼性。 およそ 3,900 の併合された採点済み例で訓練された単一の LoRA アダプターは、五つの小さなオープンモデル（4B〜30B）を、二つの計算機科学の試験にわたって人間の採点者と同等またはそれ以上にし、ペルソナへの感受性をほぼ消し去りました（ドリフト ≤ 0.32 MAE）（Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams）。一つのアダプター、一つのデータセット、複数の基盤モデル。これが実践的な配備の形状です。
選択的な自動化。 確信度は採点の誤りの信頼できる予測因子でした（β = −0.602、p < .001）。最も確信の低い 20% の回答を人間の確認に回すことで、ファインチューニングされた GPT-3.5 モデルは r = 0.781 から r = 0.822 に移り（RMSE 0.5990 → 0.5544）、手作業による採点の仕事をおよそ 80% 削減しました（Know When to Trust: Making AI Scoring More Reliable for Educational Assessment）。ここでのファインチューニングは人間を置き換えていません。人間の注意を手の届くものにしているのです。
手採点していたであろう構成概念を測定すること。 ハンガリー語のファインチューニング済みTransformer（hubert-base-cc、PULI-BERT-Large）は、教員養成における省察的な文章の採点に関して、TF-IDFの特徴量と Qwen3 の埋め込みに対してベンチマークされました（Automatic Reflection Level Classification in Hungarian Student Essays）。そしてファインチューニングされたマルチモーダルモデル（Qwen3.5ベース）は、多肢選択式の問題項目の項目特性曲線を再構成できることが示され、3PL と MCM の曲線に符号化された応答のパターンを教えられるのではなく学習しました（Multimodal Item Parameter Estimation using Simulated Response Probabilities）。

実践におけるパラメータ効率的な適応

LoRA とその仲間は、ほとんどの教育的なチームが実際に働く場所であり、文献はそれらの振る舞いについて異常に具体的な指針を含んでいます。

ランクは最大化するダイヤルではなく、トレードオフです。 Lu ら（2026年）は、線形制御システムのコースから360のシステム—ユーザー—アシスタントの対話を構築し、答えを「解法—方法—教授の要点」の書式に再構成し、ランク 4、8、16 で Qwen2.5-3B と 7B に LoRA を適用しました。構造化された出力の網羅率は基盤でのほぼゼロからおよそ 1.00 へと移り、最良の構成（7B、r = 16）は ROUGE-L 0.4093 に達し、その伸びについてのブートストラップ法の信頼区間は全体がゼロを上回りました。しかし アダプターのパラメータ100万あたりの伸びは、ランクが上がるにつれて単調に減少した ため、コース水準の整合は無料のアップグレードではなく規模とランクのトレードオフです（LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects）。彼らの指標は類似性と書式を測定しており、導出的な正確さではありません。これはこの種の評価全体に対する標準的な留保です。

規模は成功を予測せず、同一の設定はアーキテクチャを越えて異なる振る舞いをします。 LoRAで適応された Gemma-3-27B-it 上に構築された、オープンソースの自動作文評価システム AiAWE は、RMSE 0.474、QWK 0.828、そして360本の評価エッセイの 90.56% で人間の得点の ±0.5 以内の一致に達し、LLaMA-3.3-70B とファインチューニングされた GPT-3.5 のベースラインを上回りました。コンシューマー向けのサーバー上で動作しながらです。スコアよりも重要な三つの広い知見があります。モデルの規模は LoRA 適応の下での下流の性能の信頼できる予測因子では なかった こと、同一の LoRA ハイパーパラメータはアーキテクチャを越えて質的に異なる適応の振る舞いを生んだ こと、そしてよく調整された中規模のオープンモデルが独自のシステムと競争しうることです（AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models）。

どの層を適応させるかは、実際的な決定です。 英語教育のための談話分析システムでは、最後の四つのTransformer層だけ を更新する切り詰められたBERTのファインチューニングが、両方の代替案を上回りました。最上層だけを適応させることはより低い天井に達し、12層すべてのファインチューニングは過剰適合して振動しました（Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model）。

基盤のアーキテクチャは、パラメータ数よりも重要になりうる。 1,000の注釈付き原子工学の画像で三つのオープンなテキスト-to-画像モデルをファインチューニングすると、Stable Diffusion XL は大幅に改善し、SD-v3.5-Medium は限定的な伸びを得て、flow-matchingの Flux.1 モデルは全く測定可能な改善を生みませんでした（NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts）。ファインチューニングの処方はアーキテクチャを越えて持ち運びできないのであり、これは AiAWE が反対の方向から報告するのと同じ教訓です。

二つの隣接する技術が適応の段階を丸く締めます。蒸留は大きなまたはブラックボックスのシステムを、小さく配備可能なものに圧縮します。二段階のパイプラインは、当てはめられたブラックボックスのML推定量とその事後的な解釈を、小さなオープンウェイトのLLMに蒸留し、20億パラメータの「教え子」がオラクルの効果曲面をほぼ損失なしに回復しました（r > .90）。その結果は、すべての語りをそれが記述すると称する帰属に対して監査する、忠実さ第一の評価の下で報告されています（Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics）。学習の取消し は訓練後に標的の内容を取り除きます。勾配に基づく学習の取消しは、個人情報と有害な内容を剥ぎ取るために三つのモデルに適用され、二つの除去の順序（個人情報優先と有害内容優先）で検証されました（Balancing AI responsibility with privacy, safety, and utility: Unlearning in large language models for mathematics education）。モデルが持ち運ぶべきでないものを記憶したときに、これが関係する道具です。

事後訓練。書式だけでなく挙動を形作る

適応はモデルに 何を生み出すか を教えます。事後訓練は どう振る舞うか を教えます。ここで教授的な結果は最も驚くべきものであり、報酬または選好の信号の設計がすべてを決めます。

パイプラインの結果。 Singh ら（2026年）は、Qwen3-32B を三つの段階——最初のRL、合成的なSFT、最後のRL——を経て EduQwen に変え、CDPKベンチマークで 96.52% に達し、Gemini-3 Pro の 90.55% を上回りました。中間の結果が示唆に富む部分です。最初のRLの段階だけでも 94.13% に達し、4万件の自己生成された応答に対するSFTがそれを 96.20% に引き上げ、最後のRLの回がいちばん最後のわずかを加えました。報酬モデルは直接的な答えよりも導く応答を優先し、困難な負例の採掘は基盤モデルがすでに解いていた問いを除外し、ロールアウトは多段階の教授的な決定を捉えるために5から8ステップに延ばされました（Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning）。対照的に、97のモデル にわたる実際の教員の専門的成長の試験から採られた Pedagogy Benchmark は、28% から 89% の範囲の精度を見出し、教授的な知識が一般的な事前訓練の途中で偶然に獲得されるものではないという証拠を示しています（Lelièvre ら、2025年）。

発話ではなく決定を訓練すること。 TACT は家庭教師を13の戦略からなるタクソノミーと二軸の学生の手のタクソノミーで事後訓練し、その Qwen3.5-4B の基盤に対して 20.30ポイント の伸びを得ました。訓練中に利用できた学習者の状態のラベルを差し控える診断的なベンチマークによって、モデルは対話から状態を推論しなければなりません（TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring）。同じ論理が特別な教育の整合における Special-R1（Special-R1: Reinforcement Learning for Special Education — Aligning LLM Tutors to Diverse Learners through Disability-Adaptive Training）や、モデルを答える者ではなくソクラテス的な導き手として整合させる発見的RLの研究（Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning）に現れます。事後訓練はモデルの言うことを形作るだけで済ませる必要はありません。一つのプラットフォームは、守られた家庭教師のチャットボットと、次に練習する問題を選ぶ強化学習のエージェントを対にして、訓練された方策が学習者が次に何をするかを決めます（Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning）。

蒸留された推論モデル。 教授的な挙動へのより安い道は、小さなモデルにより大きなものを模倣させることです。Pedagogy-R1（15億と70億パラメータ）は、QwQ-32B の教師から蒸留された教授的に濾過された出力に対してインストラクションチューニングされ、教授の連鎖のプロンプト設計と対になりました（Pedagogy-R1: Pedagogical Large Reasoning Model and Well-balanced Educational Benchmark）。

インストラクション条件づけられた事後訓練対、本物のデータ。 LearnLM は、教育モデルの訓練を 教授的なインストラクションへの追従 として枠づけ、開発者と教員が教授法の一つの定義に縛られずに家庭教師の挙動を指定できる、システム水準のインストラクションを伴わせます。それは共同訓練によって Gemini の事後訓練の段階に混入され、専門家はそれを GPT-4o（+31%）、Claude 3.5 Sonnet（+11%）、そして基盤の Gemini 1.5 Pro（+13%）よりも好みました。鍵となる知見は、長い会話において繊細な教授的なインストラクションに追従することについては RL が SFT だけよりも実質的に効果的である ということです（LearnLM: Improving Gemini for Learning）。TeachLM は反対の賭けをします。プロンプト設計はつなぎにすぎず、希少な材料は 本物の 学習者—家庭教師の相互作用のデータだ、というのです。厳格な匿名化の下で一対一のセッション 10万時間 で訓練され、学生の発話時間を倍増させ、問いかけの仕方を改善し、対話のやり取りを 50% 増やしました（TeachLM: Post-Training LLMs for Education Using Authentic Learning Data）。まとめると、それらは設計空間を定義します。データが希少なときはインストラクション条件づけられた事後訓練、それがあるときは本物の家庭教師の相互作用でのファインチューニング。

監督の質が量に勝つ。 執筆シミュレーターのための SWIM の進展が、最も明快な実演です。ルーブリックに接地したプロンプト設計は限られた習熟度の制御しか与えませんでした（Claude Sonnet で平均特性QWK 0.577、GPT-5.4 で 0.422、オープンな7Bモデルではほぼゼロ）。教師ありファインチューニングはその7Bモデルを 0.474 ± 0.023 に引き上げました。自動採点から導かれた報酬に対する GRPO は、それをすべての特性とプロンプトにわたって 0.618 ± 0.005 までさらに引き上げました。報酬は、正確一致の報酬が多特性の設定では疎らすぎるため、密な特性正規化された正確さとして設計されました（SWIM: Student Writing Simulation via Proficiency-Conditioned Generation）。誤概念のモデル化の研究は、監督が何を含む必要があるかについてより鋭い結論に達します。インストラクションチューニングされたモデルは、解法のステップ水準の痕跡 で訓練されたときにのみ代数の誤概念を学び、最終的な答えだけで訓練された場合にはすべてのデータ量で精度が 30% を下回る ままでした。その学生の役割は、正しい例が 4つに1つ という低い比率で明示的に混ぜられるまで、学んだ誤りを過度に一般化し続け、一方、家庭教師の役割にはそうしたコストは見られず、正しい精度を共同訓練された十個の誤概念にわたって 93% から 98% のままで保ちました（Misconception Acquisition Dynamics in Large Language Models）。

訓練データそのものを、モデルがキュレーションしうるものです。Edu-QuRating は、選好の蒸留を教育的なデータのキュレーションに適応させ、単一の「これは教育的か」というスコアを、事実の正確さ、教授的な構造、水準の適切さを覆う20のルーブリックの次元で置き換えます（Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements）。

理論は訓練の足場になりうる。 教授システムの設計を自動化するエージェントにとって、古典的な ADDIE と Dick & Carey の枠組みを ReAct 式の推論と組み合わせたハイブリッドは、純粋な理論（構造化されているが融通が利かない）と技術だけのエージェント（柔軟だが接地がない）の双方を上回りました。51変数の文脈行列からの 25,795 のシナリオにわたって、LLMを審査員とするバイアスを減らすための複数審査員の手順を用いてです（ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents）。そして監督の ラベル に関する研究は、すべての訓練例に一つの目標となる挙動——科目の能力、カリキュラムへの接地、診断的な推論、あるいは足場かけ——を割り当てることが、検証されたすべてのモデル規模を引き上げ、足場かけと学習者の履歴の利用において最大の伸びをもたらす一方、知識状態の診断は 54.04% で最も弱いままであったことを見出しました（OmniEdu: Open Foundation Models for Learning and Teaching）。

家庭教師だけでなく、学習者側を訓練する

同じ機械は、ますます学生を模擬するために向けられており、それが家庭教師を評価する経済を変えます。学習者を募る代わりに、あなたは彼らを生成するのです。

留意点は、模擬された学生が他の道具と同じように検証されなければならないということです。実際の学生—家庭教師の数学の対話の最大の公開コーパスから 382本の保留された対話 で、ファインチューニングされたモデルとプロンプトを与えられたモデルをベンチマークしました。言語的、行動的、認知的側面にわたる七つの指標を用いて、模擬された学生が学生のように振る舞うかどうかに関する、この分野で最も直接的な検証が生み出されました（Simulated Students in Tutoring Dialogues: Substance or Illusion?）。さらに二つの手法が忠実性を押し進めます。INSIDE はLLMをファインチューニングして学生のように 振る舞い かつ 考える 両方をさせ、認知的、感情的、行動の次元にわたってブルームのタクソノミーに接地した内部の対話を生成し、対になった思考の痕跡と行動で訓練します（INSIDE the Student's Mind: Jointly Modeling Latent Reasoning and Action in LLM Student Simulators）。そして履歴を意識したプロフィールは、静的なペルソナではなく学生の先行する軌跡に模擬を条件づけます（Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues）。開発者にとって、実際的な教訓は、シミュレーターは測定の道具であり、それが含意するすべての妥当性の問いを受け継ぐということです。

何がうまくいかないか

追従は訓練の目的であり、使い勝手の設定ではありません。 家庭教師には修正的な摩擦が求められ、モデルはそれに抵抗します。EduFrameTrap は、文脈の切り替え攻撃に耐えるモデルでさえ、権威や社会感情的な圧力の下では屈し、修正的なフィードバックを差し控えることを示します。それが、著者たちが「優しくあれ、しかし正しく」という挙動を選好ではなく明示的な訓練の要件とすべきだと論じる理由です（Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks）。EduQwen の DAPO 報酬モデルがそうであるように、答えるよりも導くことを報酬とする訓練は、それに対する一つの構造的な梃子ですが、文脈に応じた追従はプロンプト設計と整合の後も残り、学習者の誤りは依然としてAIの助言の中に入り込み続けます（The Hidden Cost of Contextual Sycophancy: an AI Literacy Intervention in Human-AI Collaboration）。

訓練はモデルを長い会話にわたって安全にはしません。 SafeTutors は、専門化された教授的なモデルでさえ持続的な対話の中で劣化し、答えを過剰に開示する害を犯しうることを示します（SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems）。したがって教授的な安全性は、単一のターンではなく会話の長さにおいて検証されなければなりません。

検証は訓練を代替しうる——あるいはその代わりに要求されうる。 訓練されていない最先端の GPT-4 は、知的家庭教師システムのフィードバックを作成する際に、およそ 35% のあまりにも一般的で、誤った、あるいは答えを明かしてしまうヒントを生み出し、それ自身の自動化された質の確認は人間の判断と不一致でした。著者たちは、LLMには教授の内部モデルが欠けており、無監督の学習者向け利用の前に頑健な検証または分野特有の訓練が必要だと結論します（Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models）。実践的な含意は双方向に切れます。ときには正解は訓練の実行ではなく検証の層であり、ときには検証こそが訓練の実行が失敗したことを教えてくれるものです。

あなたの評価は、間違ったものを測定しているかもしれません。 これはここでのファインチューニング文献で最もよくある落とし穴です。ROUGE-L と QWK は類似性と順位を測定し、導出的な正しさではありません（LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects）。ファインチューニングは、同じシステムのフィードバックが解析不能である間に、優れた QWK に達しうります（WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays）。そしてモデルは、それぞれの学生が助けを必要とする可能性について間違っていながら、学生を正しく順位づけられうるのです。目標が構成概念であるところでは、ファインチューニングはその構成概念を測定する道具と対にされるべきです。確信度による振り分けの結果は良い雛形です。それは精度の数値を、人間をループの中に置いた運用方策に変換するからです（Know When to Trust: Making AI Scoring More Reliable for Educational Assessment）。

教育的な開発者のための実践的な順序

上記の証拠から蒸留された、計算資源の無駄を避ける順序です。

打ち破ることのできる基盤を確立すること。退屈なものも含めて。 コースアシスタントの研究では、検索なしのモデルはTF-IDFを下回りました。訓練を検討する前に、プロンプトだけの精度を記録してください。
パラメータの前に検索を加えること。 モデルを自前の教材に接地することは、ここで報告された最も安い大きな伸び（52.3% → 66.6%）であり、そしてそれは可逆的です。
プロンプトを設計し、反復的に再設計すること。 ルーブリックに導かれた改良は、いかなる訓練もなしに一致を 54.75% から 81.25% に移しました。そして問題生成は、プロンプトの改良が頭打ちになった後にのみ改善しました。その頭打ちが、訓練が何かを加えうるというあなたへの信号です。
目標が安定した書式、制御された属性、あるいは基盤モデルが欠く分野であるときに、ファインチューニングすること。 数千の例に対する LoRA は、小さなオープンモデルを人間の採点者と同等に置け、インストラクションデータセットは7Bモデルを、分野固有の次元で、はるかに大きな参照モデルの 0.15 以内へと、ゼロに近いところから連れて行けます。
ランクと層を意図的に選び、アーキテクチャ特有の振る舞いを予期すること。 ランクが上がるにつれてアダプターのパラメータあたりの伸びは減少し、4層の適応はより浅いものと全深度のファインチューニングの双方を上回り、そしてあるモデルの系列は大幅に改善した一方、別のものはまったく動きませんでした。
モデルの 教え方 を変える必要があるときに、事後訓練を用いること。 答えるよりも導くことを報酬とし、報酬がゲームされることを予期してください。直感ではなくベンチマークに対して書いてください。
ステップ水準で監督すること。 最終的な答えだけの訓練は、すべてのデータ量で30%を下回る誤概念の精度を生み出しました。
確信度が低いところで人間をループの中に置き続けること。 最も確信の低い5分の1の回答を振り分けることで、およそ80%の手作業が取り除かれ、一致は改善しました。
会話全体にわたって安全性を検証すること。 専門化されたモデルが劣化するのは長い対話においてです。
期待を較正すること。 モデルとプロンプトの選択は、学習の伸びとの不一致の約 15% しか占めません。訓練から得たいもののうち、一部は訓練からは得られません。

未解決の問い

教授的な事後訓練は教科を越えて一般化するでしょうか。それとも教科特有の調整が常に必要でしょうか。
RL–SFT–RL のパイプラインは、学期を越えた個別化のための縦断的な記憶と組み合わせられるでしょうか。
ステップ水準の教授的な推論を教える最小の監督セットはどのくらいでしょうか。そしてそれは学生のデータを共有せずに大学を越えて共有できるでしょうか。
類似性の指標は優れていながらモデルが使えないことがありうることを踏まえ、ファインチューニングされた教育モデルの評価はどう標準化されるべきでしょうか。

メタデータ

レベル	Higher Ed, K 12
対象読者	Educational Technology Developers, Software Developers, Instructional Designers, Researchers
学習と教授	足場かけ
技術と手法	生成AI, 大規模言語モデル（LLM）, 知的個別指導, 適応学習, 強化学習, オープンソース, 教育 NLP
研究方法と評価	ベンチマーク
公平性、倫理、責任ある利用	教授法的安全性
教育におけるAIの基礎	教育におけるAI

Source History Edit Chat