AIEdナレッジベースAIEd KB
このページの内容

このページを英語で読む

概念

自動評価

作成日 2026-08-09 · 更新日 2026-10-10

英語ページの自動翻訳です。母語話者による確認はまだ行われていません。

自動評価とは、生徒の成果物を評価するためにAIを用いることで、形成的な小テストから影響の大きい試験にまで及びます。自動評価は複数の様態——多肢選択、短答、小論文、コード、そして実践に基づく評価——にわたり、直接的な自動採点から、得点とともに校正された不確実性を報告する確信度を意識したシステムまでを含みます。

考えるための問い

  • 自動評価は、多肢選択式の採点から小論文、コード、実践に基づく評価までにわたります。AIが多肢選択式の小テストと自由形式の小論文とで、どれほど確実に採点できるかに、あなたはどのような大きな違いを予想しますか。それはなぜですか。
  • ここでの中心的な設計上の考えは「確信度の意識」です。すなわち、単一の無条件の得点を出すのではなく、AIの採点者が自分がどれほど確信を持っているかを報告し、確信度の低い事例を人間による検討のためにフラグを立てる、というものです。「これについては70%の確信があります」という得点があったら、あなたは自動得点をどう使い、どう信頼するでしょうか。
  • 研究によれば、自動採点は非母語話者を体系的に不利にしうることが示されています——AIは理解ではなく言語を採点しているのです。全体的に人間の評定者との高い一致率を達成している場合でさえ、なぜ自動採点者はこの種の不公正を特に起こしやすいのでしょうか。
  • ある研究では、妥当性確認のやり方によって報告される性能が膨らみうることがわかりました。素朴な交差検証法ではほぼ完璧な結果が報告されましたが、より厳密な試行独立の妥当性確認では劇的に低下しました。この教訓は、AI評価システムが「機能する」という主張をどのように読むべきかについて、何を示唆しているでしょうか。
  • このページは、校正された確信度が人間参加型のワークフローを可能にし、信頼の校正を支え、測定の妥当性を強化すると論じています。自動システムが最も不確実な事例を人間の検討者に回したとしたら、その振り分けを信頼する前に、その事例がどのように選ばれるかについてあなたは何を知りたいでしょうか。
  • 自動採点は最も成熟したAIED応用の一つだと説明されていますが、有用なフィードバックのない採点には教育的価値が限られています。得点を生み出すことに純粋に焦点を当てるのではなく、使えるフィードバックに焦点を当てることで、生徒はAI採点の評価から実際に何を得るでしょうか。

はじめに

評価の様態

自動採点

自動採点は、最も成熟し広く展開されている教育におけるAI応用の一つです——すなわち、多肢選択式の採点から小論文の評価、コードレビューにまでわたって生徒の成果物を評価するAIシステムです。その採点の様態には次のものが含まれます。

  • 生徒がフィードバックの有用性と評価的な権威を区別する: AlGhamdi (2026)は、AIの得点が成績に算入され、生徒がそれを知っていた事例を記録しています——13人のコンピューティング専攻学生が、明瞭さ、構成、文の正しさ、簡潔さを扱うルーブリックに対して、スキャンした手書きの成果物をChatGPTで評価されました。全参加者がフィードバックを有用だと感じましたが、全員がその有用性を権威から切り離し、数人は自動採点の一方的で対話的でない性格を拒否しました——「ChatGPTは人間とは違う。人間には話しかけて言い訳を説明できる……私は普通の先生に自分の仕事を採点してほしい」。この研究は、自動評価を表面的な推敲には許容できるが最終的な評価者としては許容できないものとして位置づけ、条件付きの信頼は教員の監督によって媒介されるとしています。
  • 短答の採点: 確信度を意識したASAGは自由記述の解答を評価します。確信度の校正が重要です——システムは採点が信頼できるときを知らなければなりません。理科における短答自動採点についてのスコーピング・レビュー(2017年～2024年初め)は、この分野の歴史を記録しています。MorleyらはBERT系モデル(base、RoBERTa、DistilBERT、SciBERT)が支配的だったこと——21件中20件の研究で用いられ、2021年にピークに達した——を発見しました。その後、微調整ではなくプロンプト工学を通じて、おおむね2022年頃からGPTに基づくアプローチが採用されました。領域データ(教科書、ルーブリック、追加の事前学習)で強化されたモデルは一貫してそれらを含まないモデルを上回りましたが、人間に理解できる言葉で得点の根拠を説明できるものはほとんどなく、人口統計学的・言語的グループ間の偏りが調べられることは稀でした——著者らは自動採点者は人間の採点者を支援すべきで、取って代わるべきではないと論じています。42件の実証的な採点・フィードバック研究(2023–2025年)についてのPRISMAガイド付き系統的レビューは、この警告を分野全体に一般化します。すなわち、LLMは閉じた課題と短答問題では人間の評定者と同等である一方、深い分析や創造性を要する複雑で開かれた、あるいは主観的な仕事については人間の判断を完全には置き換えられず、最も高い採点の有効性はAIによる採点と教員の監督・検証を組み合わせたハイブリッドシステムで達成される、としています(Can ChatGPT Replace the Teacher in Assessment? A Review of Research on the Use of Large Language Models in Grading and Providing Feedback)。
  • 小論文の採点: アンカーに基づくAESのような自動小論文採点システムは、プロンプトの戦略を用いて人間水準の信頼性に近づきます。AIAWEは自動評価をより広い書き言葉の評価に拡張します。
  • コードレビュー: Linux Bash採点とCS1コードレビューは、コンピューティング教育における自動評価を示しています。
  • プロンプトのペルソナは採点者を崩壊させることがあり、微調整はそれを修復できる: Habibullahら (2026)は、実践的なコンピュータビジョンの試験(二重採点の学生570人)を171の構成で、そして第二の機械学習の試験(学生1,038人)をさらに162の構成で採点しました。短い「厳しい採点者」の前置きが、17のオープンウェイトモデルのうち14を採点帯域の外に追い出し(MAE ≥ 8)、3つは採点を完全に停止しました。損傷はトーンやモデルの規模ではなく、得点を保留する2つの文に由来し、その方向は試験ごとに異なり、第二の試験では7つのモデルを改善しました。およそ3,900件の集約された採点済み例での軽いLoRA微調整により、5つの小さなオープンモデルが人間の採点者と同等以上になりました。したがって、この脆弱性は能力の限界ではなく、プロンプトの作り物なのです。
  • 形成的評価との統合: Aレベル理科の自動化とCoTALは、自動採点がどのように形成的評価のサイクルに組み込まれるかを示しています。
  • フィードバックの種類の網羅性は教員との整合ではない。 Almousaら (2026)は、3つの大学の書き言葉講座からの段落レベルのフィードバックを7つの焦点タイプに注釈付けしました。ほとんどのモデルはほぼすべてのタイプを出力する一方、その分布は教員の参照データから乖離し、教育的に調整されたLearnLMが最も近く(Jensen–Shannonダイバージェンス0.1344)、Mistral-7Bが最も遠く(0.2695)ありました。カテゴリの定義や解き方の例を示してプロンプトを出すことは、ほとんどのモデルでダイバージェンスを増大させました。
  • 偏りと公正さ: 物理採点における言語の偏りは、自動採点がどのように非母語話者を不利にしうるかを記録しており、偏りの緩和とAI教育における公平性につながります。
  • 開かれた採点のためのGenAIモデルのベンチマーク化: Pecuchova, Benko & Drlik (2025)は、11のGenAIおよび文埋め込みモデルを、24のソフトウェア工学の問題に対する1,885の開かれた解答について、2人の専門家である人間の採点者と比較してベンチマーク化しました。GPTo1のみがほぼ完璧な一致に達し(Fleiss' Kappa 0.82、成績カテゴリ全体で偽陽性・偽陰性が低い)、Claude3とPaLM2が続きました。文脈に敏感なGenAIモデルは短く多様な言い回しの生徒の解答を堅牢に扱いましたが、参照に基づく埋め込みモデル(BERTの345件の偽陽性など)は、正しいが言い回しの異なる解答を体系的に不当に扱いました——これは、モデルの選択こそが、自由記述の開かれた評価の信頼性を形作るという証拠です。
  • プロンプトのお手本が採点の一致を決める: Takahashiら (2026)は、階層的な診断的推論(HDR)を自動化しました。これは、学習者が短い事例に意図的に埋め込まれた誤りを見つけて説明する、応用力の課題です。微調整なしのGPT-4oを用いて、チームは新しい問題を生成し生徒の記述を採点しました。生成された問題と人間が作成した問題は同じ内的整合性を持ち(Cronbach's α = 0.78)、100人の参加者全体で得点分布に有意な差を示しませんでした。また、この形式と読解力の統制課題との相関は低いままでした(α = 0.36および0.41)。採点の正確さはモデルではなくプロンプトに依存しました——解き方の例がない場合Q2の精度は0.42に下がりましたが、人間が採点した正答例と誤答例を加えると、すべての問題で一致が98%以上に上がりました(Q1とQ2は100%)——これは117件の解答に対して138分の専門家による採点と30分の合意形成という測定された人的コストに対してのことです。

モデル自身の推論モードは、第二の設定のてことなります。32件の匿名化された公衆衛生学の修士課程の試験提出物について、同じChatGPTは高速モードでは重み付きカッパ0.269から思考モードでは0.718へと移り、Kimiは0.571に達しました(Brevikら (2026))。

  • マルチエージェントによる教員の開かれた解答のコーディング——信頼性を担うのはフレームワークであってモデルではない: Copur-Gencturkら (2026)は自動評価を生徒の成果物を超えて、教員自身の内容知識(CK)と教科教育学的内容知識(PCK)のコーディングに拡張し、AIが268人のアメリカの中学校数学教員の比と比例の関係についての書かれた解答について、訓練された人間のコーディングを再現できるかどうかを問いました。目的を持って作られたマルチエージェントLLMであるGradeOptは、3つのGPT-4oに支えられた役割——人間のコーディング・マニュアルを適用するGrader、人間のコードとの不一致をそれぞれ診断するReflector、明確化のポイントを最大6ラウンドにわたってマニュアルに折り返すRefiner——を割り当て、CKでは訓練された人間のコーダーと近く一致しました(κ = .88および.85)一方、はるかに解釈の入り込むPCKの項目では全体として実質的な一致に達しました(κ = .68、重み付きκ = .79)。2つのNLPベースラインと単一プロンプトのGPT-4oモデルは、PCKではκ = .39または重み付きκ = .55を超えることはありませんでした。したがって著者らは、信頼性をモデルの規模ではなく、コーディング・マニュアルに対する教えの洗練に帰属させ、GradeOptの残存する誤りは典型的には隣接するコードであり大胆な見逃しではなかったため、隣接するコーディングの水準が曖昧になるところではどこでも専門家による検討を推奨しています。

  • 混合形式の試験採点(2026年): Falahat, Das, Bhaumik & Thambi (2026)は、多肢選択、該当するものをすべて選ぶ形式、空欄補充、列挙、短答、小論文の項目にわたる21問の薬学の試験(学生16人)について、ChatGPT-5を人間の教員による採点と比較して評価しました。客観的な項目タイプでは一致は実質的からほぼ完璧であり(CCC 0.935–1.000——採点中に正解が提供されたことに助けられています)、しかし列挙(0.621–0.708)、短答(≈0から負)、小論文(0.341–0.854)の項目では崩壊しました。構造化されたルーブリックを提供することは、試験全体の一致を一貫して改善しませんでした(なしで71.1%、ありで68.2%)。この研究は、自動評価全体に再発する方法論的な要点を鋭くします——中程度の正答率がしばしば低い一致と共存する——ため、正確さだけでは信頼性を過大に評価してしまい、複雑で主観的な、あるいは影響の大きい項目にはハイブリッドな採点を推奨しています。

  • 本物の採点済み小論文に対するモデル系統間の成績帯域の校正(2026年): Kerwat, Donaldson & Mahomed (2026)は、4つのモデル系統(GPT-OSS 20B、GPT-OSS 120B、Qwen 32B、Llama 3.1 8B、それぞれ2つの温度で)からの8つの事前指定された構成を、大学のMeritとDistinctionのラベルが付いた同じ固定されたコホートである114編のBAWE/Coventryの小論文に対して、4つの帯域を許容する一つの共有されたプロンプトを用いて実行しました。帯域の完全一致は18.4%から54.4%までにわたりました。温度0.5のLlama 3.1 8Bが首位に立ち(完全一致54.4%、1帯域以内98.2%、MAE 0.474、ほぼゼロの偏り)、GPT-OSS 120Bは最も弱く(18.4%)、体系的に低く採点しました——温度0.5で平均1.316帯域、Distinctionの正確さは全体を通じてMeritの正確さを下回りました。固定されたコホートにはPassやFailの参照が含まれていなかったため、これは成績範囲全体の信頼性ではなく、Merit–Distinctionの区別であり、温度は特効薬ではありませんでした——ある系統を記述的には助け、別の系統は変わらず、GPT-OSS 20Bを有意に悪化させました(完全一致39.5%から29.8%)。この研究を超えて移る2つの教訓があります。成績の隔たりと方向的な偏りは一致統計が隠しているものを明らかにし、モデルのサイズは評価の妥当性の代用にはならない、ということです。

  • 医学教育における開かれた採点のためのルーブリック工学: Olvetら (2026)は、GPT-4がプレクラークシップの医学の試験の開かれた問題を確実に採点できるかどうかを問いました。2つのアメリカの学校での人間主導の3回のルーブリック洗練の反復の後、分析ルーブリックと全体ルーブリックを用いて、4問中3問について教員との評定者間信頼性が実質的からほぼ完璧な一致に達しました(重み付きカッパ最大0.94)、一方、全体ルーブリックの項目は中程度で停滞しました(κw = 0.54)。誤りのパターン分析により、不一致は両方の評定者に遡ることがわかりました——GPT-4は生徒が複数の答えを提示した場合やルーブリックにない語彙を用いた場合に過大に採点し、教員はしばしば「過度に寛大な」採点者でした——著者らは、人間をループの中に保つこと(例えば、正確さを確認するために教員が一部を採点すること)を推奨しています。アメリカの医学部のおよそ82%がプレクラークシップの作業を合格/不合格で成績評価するため、運用上の利用にはAIの得点の完全な一致がしばしば不要です。

  • 大規模な全国の書き言葉の評価のためのHITL採点(2026年): Curiら (2026)は、プロンプトに基づく大規模言語モデル（LLM）採点を、実際の影響の大きいスペイン語の筆記試験(年約5,000–6,000の解答)にまで拡張し、15項目の分析ルーブリック全体で60–80%の項目正確さと90%以上の出力の一貫性を達成し、綴りの項目では決定論的なNLPチェッカーがLLMを代替しました(一貫性100%)。その特徴的な貢献は、モデル中心の指標ではなく決定志向の妥当性確認です。すなわち、IRTとBookmarkを通じて熟達度の水準に変換されたAIの体系的な低採点バイアスは、事例の15.3–16.5%において合格/不合格の不一致を生じます——そのすべてが人間参加型のワークフローによって専門家による検討に回され、決定の質を保ちながら完全な人間の採点を必要とする解答を少なくとも50%削減します。これは、概念実証のデータセットではなく運用上の評価において、ハイブリッドな採点を確立します。

  • 次元ごとの一致は、評価者が変化を検出できないところを示す: SOPHIE 2.0 (Hasanら、2026年)は、LLM審査員を、すべての人間の評定源——標準化された患者と第三者の評定者——の合意に対して、3次元の臨床コミュニケーションのルーブリック上で妥当性確認しました。文字起こしのみからPearson 0.759とICC(A,1) 0.746に達し、個々の人間の評定者の広がりの内側にありました。最も弱い次元はBe Explicit(候補となる審査員全体で相関0.414–0.598)であり、それこそが、2回の遭遇全体で得点が測定可能に動かなかった唯一の次元でもありました(Δ = 0.014、p = 0.1204)——すなわち、次元ごとの一致は、自動評価者がどの次元で改善を示せないかを事前に示しうるのです。

確信度を意識した評価

自動評価の中の中心的な設計目標は、確信度の意識です。すなわち、単一の無条件の予測を出すのではなく、得点とともに校正された不確実性を報告するAI評価システムのことです。確信度を意識した採点者は、成績や分類を生み出すだけでなく、どれほど確信を持っているかをも合図するので、確信度の低い事例は人間による検討のためにフラグを立てられ、利用者はシステムに対する自分たちの信頼を校正できます。これは責任ある自動評価の中心にあり、心理測定的に意識したAIと信頼の校正に緊密につながっています。

知識ベースの研究において確信度がどのようにモデル化されるか:

  • 短答採点のための融合された確信度の信号: 確信度を意識したASAGは、モデルに基づく確信度の信号(言語化された、潜在的な、一貫性に基づくもの)を、Random Forest回帰によるデータセット由来のアレアトルックな不確実性と融合します。
  • マルチモーダルな生徒の成果物における確信度: 生徒が描いた科学的な図の確信度を意識した評価は、確信度のモデル化をマルチモーダルな生徒の解答に拡張します。
  • LLMの心理測定的な校正: 心理測定的に意識したAIは、大規模言語モデル（LLM）採点と測定理論との整合の水準を進め、校正を項目応答理論との整合と並ぶ中核的な要件としています。
  • 難易度と解答時間の校正: プログラミング試験の難易度の校正は、LLMを、その難易度の推定が生徒の合格率と相関する補助的な証拠源として再配置します。
  • 特性適応的な小論文採点: PsyScoreは、心理測定的に意識したフレームワークが学習者の特性に小論文のフィードバックを適応させられることを示しています。
  • 視覚的な生徒の成果物の評価: DiagramIRは、LLMが生成した数学の図(TikZ)を決定論的な検査を伴う中間表現に逆翻訳し、人間の評定者との一致においてLLM-as-a-Judgeを打ち負かし、約10分の1のコストで小さなモデルが大きなモデルと同等になることを可能にします——テキストでない図式的な生徒の成果物を評価するための拡張可能な道です。
  • 自動化された教員評価における信頼によって制御された推論: Li, Yang & Fang (2025)は、Monte Carloドロップアウトの校正を採点の経路の中に直接置きます。学習されたしきい値を超えるドロップアウトの分散は、得点ではなく棄却して参照する出力を引き起こし、敵対的なデバイアス除去と並んで、公平性の格差をベースラインの6.4–8.2%の範囲にあるのに対し1.8%に抑え、TeacherEval-2023において0.032の期待校正誤差を達成します。その消融実験は、校正の議論を縮図にしています——信頼によって制御されたモジュールを除くと、評定者間の一貫性が78.6%に落ち、著者らは人間による検討の作業負荷の41%の削減をこの制御に帰属させています。不確実性の扱いを、事後的な報告ではなくアーキテクチャとして。
  • ルーブリックに基づく採点の説明可能性: Buenoらは、モデルに依存しないSHAPの帰属が、ルーブリックに基づく得点(例えば、教室でのフィードバックの質)を説明するために、LLMが生成した根拠の説明よりも忠実で移転可能であることを示し、あらゆる採点モデルの説明を評価するための原理的な方法として、削除に基づく検査とモデル横断的な検査を提案しています。

校正された確信度がなぜ重要か:

  • 人間参加型の委任を可能にする: 確信度の低い事例は人間の検討者に回されます——盲目的な自動化ではなく人間参加型のワークフローを支えます。

  • 信頼の校正を支える: 校正された確信度により、利用者は過信と不信の両方を避けつつ、自分の信頼をシステムの実際の信頼性に合わせられます。

  • 測定の妥当性を改善する: 確信度を意識した採点は、不確実性を明示的にすることにより、教育測定と評価の妥当性を強化します。

  • 公正さと説明責任: 確信度の低い事例を検討のためにフラグを立てることは、確信に満ちた誤った得点のリスクを減らし、特に例外的な、あるいは十分に代表されていない解答についてそうです。

  • ルーブリックの生成と教員が監督する採点のパイプライン: Mendonçaら (2026)は、LLMが生成した評価のルーブリック(HARMOGEN-R)が、技術的な内容について人間が作成したルーブリックと±5ポイントの同等性の余白の範囲内で一致しうること、そして構造化された生成がモデル間の一貫性をより高めることを示しています。Cruzら (2026)は、AIの成績が362件の提出物のうち83%で教員の成績と0.5ポイント以内だった(GPT-4oによる)端到端の採点パイプラインを評価しています(MAE 0.31)——これは、教員の判断の代わりではなく、拡張可能な補足として最もよく位置づけられます。

質と公正さ

自動評価の質は評価の妥当性と偏りの緩和に依存します。言語の偏りの研究は、自動採点がある生徒集団を体系的に不利にしうることを示しています。

基準そのものが誤りやすい。 Bozdag and Qiu (2026)は、GCSE物理の答案をAIシステムで採点し、それを公式の試験実施機関の採点と経験豊かな教員の判断の両方と比較し、実施機関との一致を正確さそのものではなく正確さの代用として扱っています。

展開のシナリオとそれぞれが求めるもの

機関がどれほどの整合を求めるべきかは、システムに何を決定することを許すかによります。3つのイギリスの大学における761件の本物の学部生の小論文についての混合方法法の研究では、それぞれ27のプロンプト構成を持つ3つの最先端モデルが、学位の成績帯域について人間の採点者とわずか35–65%の一致しか達成せず、正確さは機関間で移りませんでした——したがって、その報告は候補となる利用法を一つの決定ではなく別々のシナリオとして扱います。人間の採点の品質保証——AIが並行して採点し、大きな差異が人間による検討を引き起こす——が最も保守的です。採点の助手——予測された質や不確実性によって提出物を順位付けしたり分類したりし、複雑な事例をトリアージし、簡潔な人間のコメントをより完全なフィードバックに拡張する——は、本物の中間地点です。第一の採点者としてのAI——標本や採点の分布の人間による検討を伴う——は、システムの性能が改善した場合にのみ許容できると判断され、どの利害関係者グループもAIを唯一の採点者として是認しませんでした。

それらのいずれについても3つの要件が従います。整合はモデルおよび機関に固有であるため、妥当性確認はローカルで継続的でなければなりません——他所からの大々的な正確さは、準備ができているという証拠ではありません。採点は中央に向かって圧縮されていたため、AIは成績の境界や最も強い提出物と最も弱い提出物で最も不正確であり、それはまさに評価の決定が最も大きな帰結を持つところです。そしてAIと人間の採点の間の不一致は単なる誤りではなく異なる判断を反映しているため、差異はアルゴリズムによる上書きではなく人間による解釈を引き起こすべきであり、採点に対する最終的な権威は人間が保持すべきです。採用はまた、技術的な指標が捉えないガバナンスの義務を伴います。自動化された決定が生徒に影響

3つのモデルを組み合わせても、その誤りは取り除かれませんでした。それらの誤しが相関していたためです——課題の63.4%で同じ方向——Corsi 他(2026)のアンサンブルは、最良の単一モデルと統計的に区別がつかず、共有された中央傾向への圧縮をそのまま残しました。

自動化された決定が生徒に影響する場合のGDPR第22条に基づく説明を受ける権利、達成度の水準と言語の使用が採点に影響することが示された場合の平等法上の義務、簡単には発見されない誤りのための改訂された異議申し立ての手続き、そして不可逆性のリスク——人員と投資が移り替わると、機関は戻るために必要な人間の採点を集め続けるのに苦労するかもしれません。

Venetsanos (2026)は、それらの要件が前提とする基準を提供し、自動化を擁護可能にするのは技術が技術的に実行できることではなく、課題の認識論的な地位であると論じています。彼のフレームワークは、AIを事実的・手続き的な主張の限られた検証に限定します——明確に文書化された基準、確立された知識との直接的な比較、代替的に有効なアプローチの評価の不存在、そして単一の正解または事前に指定された許容可能な集合の4つすべてが同時に成り立たなければならず、曖昧さは原則として人間にエスカレーションされます——そしてその水準でのAIの関与を、同時に成り立たなければならない5つの交渉不可能な原則に条件づけます。知識ベースは評価者によってキュレーションされ、モデルのパラメトリックな知識ではなく教材に基づいて検索に接地していなければなりません。人間の評価者はすべてのAI出力が生徒に届く前に検討し、共有されない説明責任とともに絶対的な上書き権を持たなければなりません。フィードバックは明確な出所と帰属を伴わなければなりません。そしてセキュリティは、白や小さな文字、符号化、画像、文書のメタデータに隠された指示のための入力の無害化を含め、敵対的な利用に対して最初から設計されなければなりません。なぜなら、自動化されたシステムの回避に成功することは生徒のコホート全体に広がるからです。同じ論文は、その原則が同時に実現可能かどうかについては未検討であり、キュレーション、セキュリティ基盤、高頻度の監督のための評価者の時間は人員の労力を減らすのではなく移すかもしれないと明示しています——これは上記のローカル妥当性確認の要件と並ぶ注意です。

AIを介した採点のセキュリティ

日常的な採点のワークフローについてのレッドチーム評価は、敵対的な利用のための計画がカバーしなければならない攻撃面を示しています。Humble (2026)は、Microsoft Copilot (GPT-5.2)が不合格とした合成小論文の中に5つの間接的なプロンプト注入を埋め込み、ベースラインの6回中6回の実行でそれを再現し、それぞれをdocx、pdf、htmファイルにわたって反復しました。2つの戦略が目に見える警告なしに成績を変えました——指示の操作と役割演技の段落が9回中9回の反復(100%)で、そして同じ段落を画像レイヤーの背後に隠したものが17回中18回(94%)で——一方、文書の末尾の小さな白い文字の段落は9回すべての反復で失敗し、ファイルのメタデータへの注入は一度もうまくいきませんでした。著者はこれを、テストされたバージョンでメタデータへのアクセスが無効化されていたことに帰属しています。信頼の問題は攻略自体より長く残りました。1回のpdfの実行で埋め込まれた指示を検出し、公式の課題にのみ照らして採点すると述べた後、同じファイルを再実行すると警告なしに成績がさらに6回上がり、検出された攻撃によってブロックされたチャットは利用者に報告されずに静かに無効化されました。著者は、結果として生じた成績はいずれの方向にも妥当性の主張を持たないと論じ、敵対者は多層のガードレールに対して1つの動作する組み合わせだけを必要とし、操作が見えないよう設計されている間、教員は出力に対する唯一の本物のチェックであり続ける、としています——これは上記のVenetsanosが示した入力の無害化と敵対的なセキュリティの義務に直接つながります。

つながり

自動評価は評価の妥当性(品質保証)、形成的評価(利用の文脈)、偏りの緩和とAI教育における公平性(公正さ)、教員の役割(自動化が教員の仕事をどう変えるか)、そしてAIフィードバックの質(有用なフィードバックのない採点には教育的価値が限られる)につながります。確信度を意識した評価は、心理測定的に意識したAIというより広い課題の中の特定の機構であり、校正された信頼への貢献者です。

  • 手書きの物理の大規模なAI採点(2026年): マルチモーダルモデル(GPT-5.5)が、全国物理オリンピックの理論試験、選抜合宿、大学の量子力学の試験にわたる10,364枚のスキャンされたページを採点し、公式の採点と0.91–0.97の総合得点の相関を達成し、同じ上位5名のオリンピックチームを復元しました。ページごとに改訂された証拠の位置づけの指示が一致を改善しました——これは、マルチモーダルAIが、注意深いルーブリックとプロンプト工学によって影響の大きい総括的な採点を支えうるという証拠です(Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes)。

  • 手書きの化学の選択的自動化(2026年): Cvengros & Kortemeyerは、296人の生徒の手書きの一般化学の期末試験を、ルーブリックの画像に対してマルチモーダルで推論を行うLLMでページごとに採点し、総合得点について高い実行間の信頼性(ICC(A,1) = 0.967)とTAの採点との強い総合得点の一致(R² = 0.91)を達成しました。項目レベルの信頼性は形式によって鋭く異なったため——テキストの解答と化学反応の解答は確実に採点された一方、作図とグラフ化はランダムよりも悪く採点されました——生の一致は影響の大きい利用には不十分と判断されました。彼らは確信度のフィルター(部分点のしきい値、IRTに基づくリスクのしきい値、問題タイプの除外)を通じて人間への先送りを運用化し、生のAI得点を受け入れ/先送りの方針に変換し、偽陽性(AIが本物に誤った解答に点を与えること)は生徒がめったに異議を申し立てないため見逃されがちであることを示しています——これは選択的自動化への具体的な心理測定的に接地した道です(Assisting the grading of a handwritten general chemistry exam with artificial intelligence)。

  • 大学の試験における半開放型の手書きの数学(2026年): Liuらは、ドイツの学部生の数学の試験をGPT-4で採点し、2つの抽出経路(事前に切り抜かれた解答欄対全体のページ)、2つの光学的文字認識の経路、2つのルーブリック形式について、人間の成績に対するKrippendorffのアルファを0.22-0.44、最良のワークフローでの正確さを0.59-0.62、問題ごとの正確さは0.27-0.91にわたって報告しました——これは影響の大きい総括的な利用には許容できません。複数基準の採点規則を項目化することは一般に一致を改善しませんでした(部分点の問題には役立ちました)。ルーブリックなしの自由採点ははるかに悪く(正確さ0.50-0.51)、人間による再確認のために成績にフラグを立てることを意図した確率的な確信度のフィルターは、正確さを有意に改善しなかった一方、解答の7-41%を誤って信頼できるものとしてフラグを立てました。この研究の移転可能な教訓は手続き的なものです。解答欄を切り抜くのではなく、マーカーを使って試験用紙全体をスキャンして文字起こしすること。生徒は欄の境界を越えて書くからです。教務補佐のために書かれた採点規則を書き直すこと。モデルは人間のために意図された規則から求められていない導出を試みたからです。そして、人間の採点規則自体が5つの異形の間でアルファ0.88で言い換えの関係にあったことを踏まえると、プロンプトの堅牢性はボトルネックではない、ということです。

  • 書き言葉のスクリーニングのためのLLM比較判断(2026年): Mercer & Reedは、7つのLLMを対の比較審査員として用いて、3つのスクリーニングの機会にわたる3年生から6年生の1,208人の生徒の情報提供型の書き言葉を採点しました。LLM-CJの得点は分析ルーブリックの得点と強く相関し(r = .67–.73、Gemini-3.1 Proで最も強く)、熟達度についてAUC .82–.86であり、所見はモデル間で安定しており、より高価でより強力なモデルからは妥当性の大きな利得は得られませんでした。一方、3つの書き言葉の標本を平均することは正確さを改善しました——モデルの選択よりも標本の幅が重要でした。多言語の学習者についての予測的な偏りのパターンは人間のルーブリック採点と一致し、LLM-CJを効率的で低コストなスクリーニングのアプローチとして支えています(Validity of Large Language Model Comparative Judgment for Universal Writing Screening)。

  • 教員の採点との質に依存した整合(2026年): ChatGPT、同級生、そして同じ学部生のグループプロジェクトを採点する教員を比較して、Usher & Faraonは、ChatGPTの教員との整合がプロジェクトの質が上がるにつれて改善することを発見しました——その最大の過大評価は質の低い仕事についてで(約+14ポイント)、質の高いプロジェクトについては約+2.5ポイントに縮小しました。ChatGPTはまた、同級生と教員の両方より平均して高く採点し、独立した総括的な採点者としてのその信頼性を損なう成績のインフレ傾向がありました。特に弱い提出物についてそうです。

  • 小規模なコーパスの一致統計は展開の決定を誤らせうる。 60件のマーケティングの投稿(15人の生徒に15人の研究者作成の質の低いアンカーを加えたもの)を2人の独立した人間の評定者に対して採点したところ、絶対一致のICC(2,1)はLLMで.435、等加重の規則+LLMハイブリッドで.266、決定論的な規則で.091であり、0-100の尺度でMAEはそれぞれ6.28、10.53、17.22ポイントでした。ハイブリッドはLLM単独よりも有意に悪く(対応のあるICCの差 -.169、95% CI [-.260, -.106])、アンカーを加えることで評定者間のICCは.338から.902に、LLMの一致は.435から.846に上がり、ほぼ空の投稿は人間の平均30.5に対して75点を与えられ、単一の退化した解答が小規模な評価を支配しうることを示しました。(Agreement and error in automated scoring of student marketing posts)

  • 構造化されたLLM採点は、診断的でなくても分析的に見えることがある(2026年): 50のコンピュータサイエンスの問題に対する3,041件の解答を採点して、3つの商用LLMはほぼ冗長なルーブリックの下位次元(r = 0.82–0.99、VIF最大45)を生み出し、コメントのわずか4.8–7.4%で誤解を名指しし、教員は15.0%でした(Zhaoら、2026年)。

つながる概念

つながる論文

関連するFAQ

メタデータ

対象読者Instructors
技術と手法大規模言語モデル（LLM）
評価と測定評価, 評価の妥当性, 自動評価, 自動小論文採点, 形成的評価
公平性、倫理、責任ある利用バイアスの緩和
教育におけるAIの基礎教授と教師の役割
SourceHistoryEditChat

このページを埋め込む

下のコードをコピーして、学習管理システムや他のウェブサイトにこのページを埋め込みましょう。埋め込み版ではページの内容のみが表示され、サイトのヘッダー・ナビゲーション・フッターは非表示になります。