説明可能AI

このページの内容

英語ページの自動翻訳です。母語話者による確認はまだ行われていません。

教育における説明可能AI（XAI） は、AIシステムの決定をその教育的な利害関係者 — 学習者、教員、管理者、保護者、研究者、政策立案者 — にとって読み解けるものにする設計と研究です。この分野が主張する中心的な区別は、科目の内容を説明すること（なぜその事実が真なのか）と、AIシステムの決定を説明すること（なぜこの学習者にこの活動が割り当てられたのか、なぜこの回答が不正解とされたのか、どのような証拠がリスク予測を支えているのか）が同じではないということです。教育は独特の説明可能性のニーズをもたらします — ノイズの多い学習データ、メタ認知と自己調整学習を直接支えうる説明、そして根本的に異なる種類の説明を必要とする利害関係者です。実際上の設計上の問いは、説明の質であり、単なる説明の有無ではありません。技術的には存在しながら読み取れず、誤解を招き、受け手と合致しない説明は、説明がないよりも大きな危害をなしうるのです。

検討すべき問い

AI家庭教師がなぜヒントが与えられたかを告げるとき、それは科目の内容を説明しているのでしょうか、それともシステムの決定を説明しているのでしょうか。教育におけるAIの自分の利用の中で、それぞれ三つずつ挙げられますか。
教育で誰が説明を必要とするのでしょうか — そして学習者、教員、政策立案者は同じ種類の説明を必要とするでしょうか。それぞれが説明を何のために使うでしょうか。
AIがある学生を中退のリスクがあると判定します。それに基づいて行動するために教員は何を知る必要があり、学生は何を知る必要があるでしょうか。同じ説明が両方に適切でしょうか。
このページは説明の質が説明の有無よりも重要だと論じます。技術的に存在する説明が失敗するのはどのようなときでしょうか — 説明はあったが役に立たなかった、あるいは悪くすれば誤解を招いた、そんな経験を思い起こせますか。
信頼と説明は結びついていますが、同一ではありません。なぜ自信に満ちた流暢な説明が、欠陥のあるシステムへの誤った信頼を生みうるのでしょうか — そしてそれをどう検出するでしょうか。

はじめに

説明可能な教育におけるAIという言葉は、教室のAIシステムはブラックボックスであってはならないという高まりつつある期待を名指します。教育におけるAIは重大な決定 — 成績、リスクの判定、学習経路、資源の推薦 — に影響するため、利害関係者はシステムが何を結論づけたかだけでなくなぜそう結論づけたかをますます知ることを求めます。教育はこれを二つの異なる問いに鋭くします。学ばれている科目の内容を説明することと、AIシステム自身の意思決定を説明することです。両者を混同することは、実際的な帰結を伴う範疇の誤りです。物理の答えを完璧に説明するAIであっても、なぜシステムがその学生をリスクありと順位づけたのか、なぜある活動を推薦したのか、なぜある回答を不正解としたのかについては、学生にも教員にもいかなる洞察も与えないのです。

科目の内容を説明することと、システムの決定を説明すること

この分野の創始的な貢献 — XAI-EDフレームワーク（Khosravi et al.、2022）— は、教育が汎用のXAIを超えた独特の説明可能性のニーズを持つと主張します。その筆頭は、二つの説明の対象の間の区別です。

科目内容の説明 は内容を明らかにします。なぜヒントがある誤概念に向き合うのか、なぜある答えが不正解なのか、物理の結果が原理からどう導かれるのか。これらは足場かけ、フィードバック、メタ認知を支える教育学的な説明です。
システム決定の説明 はモデルを明らかにします。なぜこの学習者にこの活動が割り当てられたのか、なぜシステムがこの学生をリスクありと予測するのか、知識の追跡（knowledge-tracing）やラーニングアナリティクスの予測をどのような証拠が支えているのか。これらは信頼の較正、バイアス緩和、説明責任を支える透明性の説明です。

この区別が重要なのは、両者が異なる利害関係者と異なる目的に仕えるからです。「なぜこれは不正解とされたのか」という問いに答える学習者は、おおむね科目内容の説明を必要とします。リスクの判定に基づいて行動するかどうかを決める教員や、バイアスを監査する政策立案者は、システム決定の説明を必要とします。両方に仕える単一の説明を設計することはめったに不可能です — これが、多利害関係者の設計がXAI-EDの中核的な主題である理由です。

誰が説明を必要とするか：多利害関係者の設計

学習者 は、自分の学習と自己調整を支える説明を必要とします — なぜヒントが与えられたのか、なぜ自分の答えが不正解とされたのか、なぜこの資源が推薦されたのか（自己調整学習を支える）。学生の視点に関する証拠は、学習者がAIのフィードバックを受け入れること（推敲に有用）と、採点の権威を譲ること（人間の教員に取って置かれている）との間に鋭い線を引くことを示しています — AIの関与についての透明性によって活性化される、較正された機能に見合った構えです。コミュニティ・カレッジの学生を対象とした価値感性設計の研究はこの点を鋭くします。学生は、生のモデルの確信度や技術的な透明性よりも、協働的で人間らしい説明（例えば「AIはここで不確かかもしれません。一緒に確かめましょう」）を好みました。なぜなら、透明性は自分の学習を直接支えない限りほとんど価値がないからです。この研究は、説明の設計を特徴量の重要度の出力ではなく学習者向けの意味論へと向かわせる、透明性対解釈可能性の緊張を浮かび上がらせました。
教員は、介入に資する説明を必要とします — どの学生がリスクにあり、その理由は何か、どのような証拠に基づくのか。教員を対象とした説明可能性の研究は、領域特異的でカリキュラムの言語による説明が、汎用的な特徴量の重要度よりも受容と較正された信頼を効果的に築くことを示しています。しかし教員は完全な依頼の前に実際の教室での経験を依然として望みます — 説明だけでは較正を与えないのです。
開発者と研究者 は、モデルの挙動をデバッグしバイアスを検出するために説明を必要とします — どの特徴量が予測を動かしているかを浮かび上がらせるために。
管理者と政策立案者 は、説明責任、プライバシー、規制への遵守（例えば説明を受ける権利）、そしてAI駆動の決定が公正で公平であるかを監査するために説明を必要とします。

手法と形式

XAI-EDフレームワークは、主要な説明の様態を整理します。視覚的なもの（ヒートマップ、決定木）、テキスト的なもの（自然言語による正当化）、事例ベースのもの（反実仮想、最近傍）、特徴量の重要度の順位づけ、規則の抽出、そしてモデルの単純化です。また、手法をモデルのクラスに対応づけます。

ホワイトボックスのモデル（決定木、線形モデル、規則ベース）は本来的に解釈可能です。
ブラックボックスのモデル（ニューラルネットワーク、アンサンブル）は事後的な説明の手法を必要とします。
グラスボックスの手法は、正確さと透明性の均衡を図ろうとします。

具体的なAIEDの証拠基盤は、これらすべてにわたります。解釈可能な知識の追跡 は、学習者の知識のモデルを直接に点検可能にします（Interpretable Knowledge Tracing、Explainable Knowledge Tracing via Probabilistic Embeddings and Pattern-based Reasoning、Neural-Symbolic Knowledge Tracing: Injecting Educational Knowledge into Deep Learning for Responsible Learner Modelling）。自己説明する代理 は、ブラックボックスのモデルをラーニングアナリティクスのために小さく解釈可能な言語モデルへと蒸留します（Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics）。反実仮想の説明 — 「異なる結果のために何が変わらなければならないか」— は、教育的な意思決定の支援と救済（recourse）を支えます（From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support）。連合型かつ説明可能なラーニングアナリティクス は、順位の安定性が保たれても説明の質が drifting（較正が劣化）しうることを示し、説明が固定された属性ではなく測定されるべきシステムの出力であることを強調します（Federated and Explainable Learning Analytics for Privacy-Preserving Academic Risk Modeling Across Heterogeneous Educational Institutions）。そして解釈可能な情動のITS は、感情を意識した家庭教師における説明を示します（An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training）。

説明の質であり、有無ではない

証拠全体にわたる繰り返される教訓は、説明を持つだけでは不十分だということです。説明は、その受け手に適したもので、正確で、賭けられているものに較正されたものでなければなりません。XAI-EDフレームワークは、落とし穴を明示的に名指します。

説明の過負荷 — 情報が多すぎて利用者を圧倒し、利益を打ち消します。
誤解を招く説明 — 事後的な説明はモデルの実際の推論を反映しないことがあり、誤った確信を与えます。
確証バイアス — 利用者は、既存の信念を確証する説明に選択的に注意を向けます。
過信 — 流暢な説明は、欠陥のあるシステムへの誤った確信を生み、過度の依拠を養います（信頼の較正の裏返しです）。
システムを出し抜くこと — 学生は、実際の学習を回避するために説明を悪用するかもしれません。

説明の質には公平性の次元もあります。技術的には存在しながら与えられた利害関係者にとって読み取れない説明、あるいは予測におけるバイアスを覆い隠す説明は、その目的を果たしません。これが設計上の問いが質と適合である理由であり、人間中心で利害関係者特異的な説明の設計が、説明の技術的な生成と切り離せない理由です。効果的なXAIは、受け手の認知的ニーズのために設計されたコミュニケーションの行為であり、単なる技術的な人工物ではありません。

説明が常に平準化装置であるとは限りません。250人の7年生を対象とした2×2のエピソード実験では、数学の成績に対する書面の理由づけは両条件で受容と知覚された公正性を高めましたが、教員による決定とAIによる決定の間の格差を閉じるのではなく広げました（Zhang et al.（2026））。

二つの注意が、この点をさらに鋭くします。いずれも、この主題に関するウィキの最新の寄稿が中心に据えているものです。第一に、説明の機構それ自体は中立ではありません。LIMEやSHAPのような事後的な手法は、モデルの実際の挙動に対して不誠実（unfaithful）でありうるため、技術的に存在する説明は情報を与えるのではなく誤解を招きうるのです（Lund et al. 2026、Chuan et al. 2024に依拠）。第二に、説明は説明責任ではありません。どの特徴量が予測を動かしたかの記述は、それらの特徴量を用いることが適切であったかどうか、訓練データが代表性的であったかどうか、システムの設計が健全な判断を反映していたかどうかを明らかにしません。説明は、決定を生み出した構造的な条件には手を触れないまま、透明性の見せかけを作り出しうるのです（Mittelstadt et al. 2019）。教育にとってこれは、問い続けるべき問いは説明が生成されたかどうかではなく、それを受け取る人 — 学生、教員、アドバイザー — がそれを理解し、それに基づいて行動し、その背後にある決定に異議を唱えることができたかどうかだということを意味します。同じ読みやすさの失敗は、自動化された評価のセキュリティの側にも現れます。Humble（2026）のAI採点ツールのレッドチーム調査は、それがプロンプト・インジェクションを遮断した後にチャットを沈黙させ、そして — 埋め込まれた指示には決して従わないと宣言しながら — 同じファイルに対するさらなる6回の実行ではそれに従っていたことを見出しました。利用者は、依拠の基礎とすべき確かな信号を残されていません。

設計から説明可能であること（explainable-by-design） は、事後的な誠実性の問題への一つの答えです。Li、Yang、Fang（2025）は、説明のデコーダーを、評価を決定するのと同じ融合された表現と予測される点数によってパラメータ化します。これにより、形成的な問いかけに対する低い点数は、不十分な探索的な問いを名指す理由づけを生み出します。そしてそれを、カリキュラム基準と科目特異的なルーブリックの手続きに対する二重レンズの注意（attention）と組み合わせます。注意のルーブリックへの整合は、GPT-4のゼロショットの41.7%、BERTの32.1%に対して78.0%に達し、誠実性はルーブリック上重要な範囲の反実仮想的な削除と、ルーブリックに基づくチェックリスト上の人間による評価とで探求され、説明の信頼性のスコア0.78を与えます — BERT-baseからの0.31の増加です。この監査は、建築的な主張が薄くなる場も示しています。感情的な手がかりに対して、モデルは専門家の15.2%に対して28.4%の注意の重みを割り当て（整合0.53）、一つの失敗事例ではトークン「frustrated」に28%を割り当てています。著者らはこれを、教育学ではなく感情への過剰適合として読み、改良の余地として名指しています。決定の経路の中に説明を埋め込むことは、それを事後的な理由づけよりも誠実にします。しかしそれを正しくはしません。

説明責任の実践として説明可能性を教える

説明の質がXAIの有用性を決めるのであれば、説明を生み出すことは、能力として実演されるのではなく、専門家としての習慣として教えられなければなりません。Lund and colleagues（2026）は、これを四つの柱にわたって行うことを提案します — 答えやすさ（answerability）（影響される者に理由を与える義務）、責任（responsibility）（事後ではなくライフサイクル全体で見込まれる危害）、執行（enforcement）（コースの中の帰結）、そして反射性（reflexivity）（自分の想定を文書化して検討すること）— それぞれに独自の課題と独自の教室でのコストを伴って。

説明可能性に関して特に、重要な課題は、説明をノートブックから押し出すものです。正確さの指標と並んで重みづけされたモデル・カード、そして学生が解釈可能性のツールを自分のモデルに適用し、その結果を共有された技術的な背景を持たない受け手に提示する、構造化された説明の監査です。執行は、倫理に隣接したコースから最もよく欠けている柱であり、残りを象徴的なもの以上のものにするものです — 責任ある文書化を報いるルーブリック、倫理的な根拠から改訂のために返されうる課題、そして技術的な基準だけでなく説明責任の基準に照らして行われる相互評価です。この論文は、ツールのコストが大きく異なることを率直に認めています。モデル・カードと立場表明（positionality statement）は新しいソフトウェアを必要とせず、表面的な順守以上のリスクはありません。一方、専門家のパネルや利害関係者の関与は調整と制度的な支持を要するため、すべてか無かではなく段階的な採用を勧めています。これらがプログラムの中でどこに収まるかは、カリキュラム設計を見てください。

Citation

Khosravi, H., Buckingham Shum, S., Chen, G., Conati, C., Tsai, Y.-S., Kay, J., Knight, S., Martinez-Maldonado, R., Sadiq, S., & Gašević, D. (2022). Explainable Artificial Intelligence in education. Computers and Education: Artificial Intelligence, 100074.

メタデータ

対象読者	Learners, Researchers, Instructional Designers, Instructors
学習と教授	メタ認知
技術と手法	ヒューマン・イン・ザ・ループ, 知的個別指導, ラーニングアナリティクス, 学習者モデル化と適応的教授
評価と測定	自動評価
公平性、倫理、責任ある利用	バイアスの緩和, 信頼の較正（Trust Calibration）, 教授法的安全性
教育におけるAIの基礎	AIリテラシー

Source History Edit Chat