AIEdナレッジベースAIEd KB
このページの内容

このページを英語で読む

概念

ランダム化比較試験（RCT）

作成日 2026-10-10 · 更新日 2026-10-10

英語ページの自動翻訳です。母語話者による確認はまだ行われていません。

ランダム化比較試験（RCT）——介入がある結果に与える因果効果を推定するために、参加者を無作為に処置群または対照群に割り当てる研究デザインです。教育における AI（AI in education）の文脈では、RCT は AI ツールや教授法のアプローチが学習の伸び、関与の変化、あるいはその他の結果を単に関連づけるのではなく、引き起こすのかどうかを確立するための黄金基準です。

検討すべき問い

  • 学校から「AI ツールを使った学生の方が高い成績を収めた」と言われたとします。それでも、その差が大きくても、なぜツールが伸びを引き起こしたことの証明にはならないのでしょうか。
  • 無作為化は、既知のものと未知のものの両方の交絡変数を群間で均衡させます。読み進める前に、無作為割り当ては、どれだけよくマッチさせて見えるとしても、単に二つのそのままの教室を比較することでは達成できないことを何を成し遂げるのでしょうか。
  • このページは RCT を黄金基準と呼びながらも、現実のコストを挙げています。人為的な環境、試験を古びさせるほどの AI の急速な変化、検出力の小さい小サンプル、そして有益なツールの提供を差し控えることについての倫理的制約です。これらのトレードオフのうち、教育研究の見出しで最も無視されがちなものはどれだと思いますか。
  • 1,174 人の参加者による RCT では、GenAIが教育に基づく生産性格差を約 4 分の 3 埋めたことが分かりました。しかし、よく設計された RCT であっても、人工的な環境での狭い課題に対して実施されることがあります。因果的な主張を信じる前に、結果の測定について何を確認すべきでしょうか。
  • 倫理の問題を直接に考えてみましょう。もしAI チューターが学生の学習を助けると信じる正当な理由があるなら、学期の間、教室の半分に無作為にそれを与えないことは擁護できるでしょうか。それでも原因を切り分ける、倫理的に健全な研究をどのように設計しますか。

はじめに

無作為化こそが RCT を他のデザインと区別するものです。学習者を条件へと無作為に割り当てることで、RCT は既知および未知の交絡変数を群間で均衡させるため、観測された結果の差は高い内的妥当性をもって介入に帰属させることができます。

RCT は研究にどう現れるか

  • 急速に進む技術への対応としてのマイクロ RCT: Harrison ら（2026）は、従来型の大規模試験は、研究の途中で実質的に変化してしまうようなチュータープラットフォームには追いつけないと論じ、イングランドの中等学校にわたる教員主導のマイクロ無作為化比較試験（事後テストを完了した 929 人中 644 人、g = 0.33）を用いて、因果推定を反復可能に保っています。トレードオフは彼らのデザインそのものに明記されています。30.7% の脱落、独立に標準化されたものではなくカリキュラムに整合した結果、そして 4 週間のフォローアップのみという点です。

  • 因果的な有効性の主張: AIED における RCT は、AI チューター、ツール、あるいは教授法的な処置が結果を改善するかどうかを検証します。1,174 人の参加者による生成 AI に関する無作為化実験では、GenAI が教育に基づく生産性格差を大幅に縮小し、当初の成績差のおよそ 4 分の 3 を埋めることが分かりました——これは AI の効果についての明確な因果推定量です。

  • 黄金基準との比較: 研究方法のページは、RCT を内的妥当性について最も強力なデザインとして位置づけながら、そのトレードオフ——コスト、人工的な条件、急速に変化する AI、意味のある効果の検出には小さすぎるサンプル、そして潜在的に有益な AI を対照群に与えないことの倫理的限界——を記しています。

  • 差ではなく同等性のために設計された試験。 Northcutt ら（2026）は 2,383 人の成人を AI チューター、人間による生のチューター、動画対照のいずれかに無作為化し、既存テスト問題の汚染を避けるために元 ETS および Kaplan のテスト開発者とともに新しい GRE の問題を作成し、二つの形式を釣り合うよう配分し、差ではなく ±0.25 SD に対する二つの片側検定によって同等性を検証しました——「有意な差はない」を解釈可能な結果にするためのデザイン上の選択です。

  • 群単位の無作為化、低い定着率、そしてそこで意向対処推定が意味するもの。 Liu ら（2026）は 13 のブロックにわたって 2,379 人の学部生を、学生ではなく教員を割り当てることで無作為化し、あるクラスのすべての学生はその教員の条件を引き継ぎました——これは複数クラスでの展開試験を実現可能にするデザインであり、同時に、その研究がその後記録する推論上の問題を生み出すものです。処置を受けたクラスの学生のうち実際にツールを使ったのは約 15% のみだったため、報告された効果は、それを使うことではなく、アクセスを提供することを推定するものです。著者らは、介入を、その導入が誘発したより広い AI 利用として読み取り、個々のセッションについては別の問題として扱っています。処置は教員レベルで割り当てられたため、推論は 34 のクラスに依拠しており——これはクラスタ頑健標準誤差が精度を過大評価してしまう状況です——そのため論文はそれらと並べて無作為化に基づく推論も報告し、結論が頑健であることを見出しています。二つの主要な効果、すなわち完全一致サンプルにおける最終成績の 0.37 SD の低下と、両方のサンプルにおける記録上のプラットフォーム参加の 0.90 SD の低下は、同じツールを学生ごとに無作為化したのでは、処置を受けた学生と対照の級友との間の汚染なしには切り分けられなかったであろう、クラスレベルの帰結です。

  • 定着率が試験が検証できるものを制限し、関与の支援は投与量ではない。 Robinson ら（2026）は二つの読解プラットフォーム RCT を実施し、そのうち対照群の学生で実際にプラットフォームを使ったのは 60.7% と 53.3% にすぎませんでした。関与支援チューターは読まれた物語数を 71～80% 増やしたものの、学習到達度の向上は生じず、これは週あたり 2～5 分にしか達していなかったことと整合的です。

  • 帰無を証拠に変える規模。 Mata ら（2026）は 8 学期にわたって 8,708 人の学生を追跡し、0.05 SD の効果を検出する検出力を持ち、古い二値課題において大きく即座の変化を見出しました——一度のリマインダーによる、8 月 16 日までの登録の 34 パーセントポイントの増加——一方で、学業成績、継続、卒業には検出可能な効果は見られませんでした。規模こそがデザインの教訓です。この N では、学業面の帰無結果は検出の失敗ではなく、精密な結果であり、それこそが、コミュニケーション・ツールは、それが対処できるものを動かし、累積的な学習の成果は動かさないという結論を裏づけるものです。

  • 帰無の平均が相殺する異質性を覆い隠しうる。 トルコの 24 校で学校・学部レベルに無作為化された事前登録 RCT では 538 人の教員が対象となり、中央値以下の教員の間で成績が 0.129 SD 低下する一方、中央値以上の教員の間では 0.054 上昇し、動機づけは 0.111 SD 低下し、上限圧縮された試験（対照群平均 89.2/100）が検出力を制限していました。（Sungu、Lira & Duckworth（2026））

  • 問いと検出可能な効果を確定する事前登録。 Meyer ら（2026）は二つのコース試験を Efficacy and Effectiveness Studies 登録簿に登録し、事前に意向対処推定と約 0.157 という最小検出可能効果量を確約し、同意した学生を毎学期無作為化し、科目登録変更期間に第二波を設けることで、遅れて履修登録した学生が既定の分析サンプルではなくデザインの中に入るようにしました。二つのコースにわたる 2,483 人の学生をプールした効果は A/B の閾値（4 パーセントポイント）のところにあり、一方でプールした数値成績の変化は多重比較の補正を生き延れませんでした——登録された主要結果が、複数の相関する結果のうちどれが信じられるかを律することを思い出させるものです。

  • そのままのクラス内での無作為化、事前のベースラインとともに。 Thoeni & Fryer（2026）は、履修変更期間の後に三つのそのままのマーケティングのクラス内で 454 人の学部生を無作為化し、どの学生もチャットボットへのアクセスを得る前に、T1 ですべての四つの結果を測定したため、学期を通じた比較は、仮定ではなく測定されたベースラインに依拠しています。平坦な結果（群 × 時点の交互作用はどれも有意に達しなかった。報告された最大の効果は関心に関する d = 0.050 でした）は、採用率——週 1 回の割り当てに対して週あたり 0.89 回のログイン——と並べて報告されており、これにより、弱くしか使われなかった処置についての帰無が、ツールについての帰無として読まれるのを防いでいます。

  • 被験者内のクロスオーバー、そして最良の実践を対照とするデザイン。 Kestin ら（2025）はハーバードの生命科学の学生 194 人にそれぞれ二つの物理の授業を——一度は対面のアクティブラーニングセッションで、一度はそのコース独自の AI チューターで——それぞれの前後に事前・事後テストを配置した釣り合いを取った順序で取り組ませたため、すべての学生が自分自身の対照となり、提供形態の比較は誰がどちらに割り当てられたかによって交絡されません。デザインの第二の選択も同様に重要です。比較対象は講義ではなく研究に基づくアクティブラーニングだったため、その優位性（事後テストの中央値 4.5 対 3.5）は現在の最良の実践に対して測られたものであり、「AI が教授に勝る」と読むことはできません。

長所と限界

  • 長所: 最も強力な因果推論。明確な結果の測定。効果量の推定を支えること。無作為化を通じた交絡変数の均衡化。
  • 限界: 費用がかかり時間がかかる。人為的な環境は生態学的妥当性を低下させることがある。AI ツールの変化は試験が走り切るより速い。小さなサンプルはしばしば意味のある効果の検出に検出力不足である。対照群に潜在的に有益な AI を与えないことについての倫理的制約。これらの限界のうち二つは、割り当てがクラスタ単位であると形を変えます。すなわち、実効サンプルは学生の数ではなくクラスタの数になるため、試験は頭数では大きく、その基準では薄くなりうるのです——Liu らの 2,379 人の学生は 34 の教員レベルクラスタに依拠しています——そして、定着が自発的で低い場合、意向対処推定は、ツールを使ったことが結果を変えたかではなく、提供したことが結果を変えたかに答えるものです。

教育における AI の実験デザインについてより完全な扱い——RCT が準実験、調査、あるいは計算論的デザインに対して適切となる場合を含めて——は AIED における研究方法 を参照してください。

関連する概念

関連する記事

メタデータ

研究デザインExperiment
レベルHigher Ed
技術と手法生成AI
研究方法と評価AIED における研究方法
教育におけるAIの基礎教育におけるAI
SourceHistoryEditChat

このページを埋め込む

下のコードをコピーして、学習管理システムや他のウェブサイトにこのページを埋め込みましょう。埋め込み版ではページの内容のみが表示され、サイトのヘッダー・ナビゲーション・フッターは非表示になります。