概念
機関のAIインフラストラクチャ
これは英語ページの自動翻訳です。母語話者による確認はまだ行われていません。
機関AIインフラストラクチャ — 機関が自らの規則の下で教育・研究・管理業務の全体にわたってモデルを利用できるよう、運用する計算・サービング・ルーティング・制御の層。重みを保持するGPUやクラスタ、リクエストに応答する推論サーバ、それらを計量し振り分けるゲートウェイ、その仕組みを検査可能にするモデルカードと監査ログ、学生の記録をモデルへつなぐデータパイプライン、そしてそのすべてを稼働させ続ける職員までを含む。これはエドテック・プラットフォーム(学習者に向き合う容器)やガバナンス(その両方を制約するポリシー)と同じ対象ではない。
検討すべき問い
- あなたの機関でモデルは実際にどこで動いているのか。また、調べずにその答えを言える人の名前を、誰か挙げられるか。
- 以下の6つの導入形態のうち、すでにどれに当てはまっているか。そして自分はどれに当てはまっていると思っていたか。
- 利用の90%が10%の利用者から生じているとしたら、シート単位のライセンスと従量制のゲートウェイのどちらが予算に合うか。また、自機関の利用がどちらの形をしているか把握しているか。
- ポリシー文書には、リクエストを管轄区域の外に出してはならないと書かれている。人々に覚えておいてもらうのではなく、あなたのスタックの何がそれを強制しているのか。
- 単位互換の推薦が誤っていたとき、誰が責任を負うのか。そしてインフラは、後からそれに答えられるだけの記録を残しているか。
- 小学校にとって、モデルがフロンティア規模で遠隔地にあるのではなく、小型で校内で動く場合、何が変わるのか。
はじめに
機関は生成AIの最初の数年を、アクセス権の購入に費やした。あちこちでチャットボットのライセンスを買い、ライティング支援ツールを買い、それぞれに独自の利用規約と独自のデータ経路があった。その結果生まれたのは、誰も一文で説明できないポートフォリオと、どの部署も単独では答えられない一連の問い(あのプロンプトはどこへ行ったのか、このモデルを誰が承認したのか、いくら使ったのか)である。
AIをインフラとして扱うことが、これへの応答である。それは共有のサービング層、すべてのリクエストに機関の規則を適用するゲートウェイ、そしてコスト・負荷・障害を把握できるだけのテレメトリを意味する。文献の主張は、これがより安上がりだというものではない。機関こそが決定する当事者になる、という主張であり、これは別種の主張であり、検証もより難しい。
ここに集めた論文は、インフラとみなされる範囲も広げる。2本はチャットと教育のための推論を扱い、1本は教務部門を扱い、1本はアセスメント記録を扱う。単位互換、学習負荷のアナリティクス、証拠の蓄積が埋め込みとモデル呼び出しに依存するようになれば、バックオフィスはGPUラックと同じくらいスタックの一部である。議論の要点は、機関が静かにモデルへ決定を委ねた場所こそがインフラだということである。
実際に何を選んでいるのか
この領域が描くのは2つではなく6つの形態である。それらは、誰がデータを保持するのか、誰がモデルを変更できるのか、誰が失敗を引き受けるのかによって異なる。
無料の外部委託ツール。 職員や学生がベンダーのサービスを無償で使う。カナダのContact Northが提供するAI Tutor Proが最も明確な例である。無料、匿名、アカウント不要で、議論、セルフチェック、学習ガイド作成のモードを備える。Playlabも同じ帯域に位置し、教育者が自らのカリキュラムに基づくアプリを構築できる一方、モデルはベンダーがホストする。コストはゼロではなく先送りされている。機関の監査証跡がなく、クォータ制御がなく、利用規約は予告なく変わりうる。試行する場所としては擁護できるが、定住する場所としては劣る。
商用教育テナント上のシート。 学区や大学がChatGPT Edu、Microsoft 365 Copilot、Google Gemini for Education、あるいは同等のテナントを購入する。調達は速く、SSOと管理コンソールが付属し、モデル選択と保持期間はベンダーが握る。機関はID統合を得て、プロバイダを迂回して振り分ける能力を失う。
自らホストするプラットフォーム。 Amplify GenAIは機関自身のAWSアカウントにデプロイされるため、文書と会話は機関が制御するインフラ内に留まり、ベンダーはアプリケーションを提供する。Vanderbiltの試行では、1,300人の利用者で1人あたり月額約$3、うち半数はトークン支出が$1未満だったと報告された。この形態は、GPUを買わずにデータ制御を買うものである。
複数のプロバイダをまとめるゲートウェイ。 ローカルと商用のバックエンドの前に一つの玄関を置き、クォータ、SSO、ログ、地域ルーティングを付随させる。Fontysはこれを3層として構築した。MindRouterとSPINはその変種を実装している。ポリシー文書を強制力のある制約に変える形態であり、調達担当者ではなくプラットフォームエンジニアを必要とする形態である。
自前の推論。 GPU、スケジューラ、モデルサーバ、そしてそれらを運用する人々。University of IdahoのMindRouterが参照事例であり、Georgia TechのSPINは同じ賭けをHPCセンターの内部で行ったものである。召喚状、規制当局、ベンダーの価格変更に、機関が誰の許可も求めずに対応できる唯一の形態である。
すでに運用しているツールの中のAI。 Moodleの問題タイプ、議論プラットフォームのAIパートナー、エッセイのフィードバックツール。組織的な負担は小さく、変化は科目ごとにもたらされる。それは同時に限界でもある。中央は何もそこから学習しない。
これらの形態は入れ子になる。ゲートウェイはホスト型プラットフォームの前に立てる。ホスト型プラットフォームはローカルモデルを呼び出せる。無料ツールは、上記のいずれも正当化しない試行でありうる。有用な問いは、どの形態が最良かではなく、各形態があなたの代わりにどんな決定を黙って下しているかである。
セクターの実際のデフォルトは、ベンダーテナント上のシートである。 すべての機関が意図的に選んでいるわけではない。127機関を調査したOfS and Advance HE (2026)は、大多数が既存のMicrosoft 365ライセンスを通じてツールを提供しており、最も多いのはCopilot Chatであることを示した。閉じた環境が機関データをコンプライアンスの範囲内に留める点が評価されている。ライセンスのない機関の職員は、より強力な無料ツールに手を伸ばし、ときに学生データを持ち込んでいた。参加者は、今日の無料または安価なプランが、明日の予算外の値上げになると指摘した。
ゲートウェイ層
3つの実装が、同じアーキテクチャ上の動きを珍しいほど一貫して描いている。
Fontys ICTのHuijts and Suilenは、機関のIDに結びついたChatGPT風のフロントエンド、予算と地域の制約を強制するルーティングコア、ローカルモデルと商用モデルからなるプロバイダ層を分離している。6か月と300人の利用を経て、月額$500の上限は一度も突破されず、すべてのセッションは、機能、ホスティング地域、コスト、代替案を記したモデルカードから始まった。
MindRouterは同じ考えをスケジューリングに押し進める。リクエストはWeighted Deficit Round Robinによって役割ごとに重み付けされ(管理者10、教員5、職員2、学生1)、バックエンド選択にはレイテンシ、負荷、管理者の選好に関するソフトスコアが加わる。ゲートウェイは監査ログを保持し、トークンだけでなくエネルギーも計量する。
Georgia TechのSPINは、この分離をAPI境界で明示する。CPUのみの仮想マシン上にLiteLLMとPostgreSQL、Slurm内のGPUノード上にvLLMとTritonを置き、バックエンドのホスト、ポート、キーはリクエスト時にデータベースから解決される。モデルの入れ替えは、クライアントからは見えないデータベース更新になる。
違いは示唆的である。Fontysはマルチプロバイダのポートフォリオを統治し、MindRouterは希少な共有容量を統治し、SPINはジョブを終了させるよう設計されたバッチスケジューラ上の推論を統治する。3つとも一つの主張に収束する。APIの表面が契約であり、その背後のモデルは交換可能である、と。
サービングはベンチマークではなくポリシーである
Purdueの2つのサービスは、約$100,000のハードウェアで10以上のオープンソースモデルを提供し、1000人を超える利用者に到達した。月間アクティブは約40%である。重要なのは、vLLMが4-5倍のスループット優位を持つにもかかわらず、チームがOllamaを維持したという決定である。試してみたいと望むコミュニティにとっては、生の速度よりも多くのモデルを支えることが重要だったからだ。
SPINの負荷試験は、もう半分の像を与える。モック化したエンジンに対して毎秒1000件の同時リクエストを流すと、8-vCPUのゲートウェイVMは理想的な集計レートの76%に達し、8ワーカーのベアメタルは98%に達した。プロキシ層は安価だが、ある点を超えると安価ではなくなる。そしてその閾値は謎ではなく、測定可能である。
どちらの結果も一般則にはならない。これらが確立するのは、スループット、モデルの幅、運用の単純さが互いにトレードオフの関係にあること、そしてその選択はベンダーのデフォルトから受け継ぐのではなく、意図的に行うべきだということである。
エッジは議論を変える
Zulfiqar and Iqbalは学校規模の代替案を描く。再生品のデスクトップまたはミニPCにエントリーレベルのGPUを載せ、1Bから13Bパラメータのモデルをホストする。目安は1サーバあたり数百から数千オーストラリアドルである。彼らの経済的な論拠は、教室全体にわたるクラウドAPIコストの累積を吸収できない、児童400人の学校である。彼らの誠実さは、包括的なライフサイクルコスト比較が存在しないと認めている点にあり、したがって節約は知見ではなく仮説である。
科目規模では、CourseChatが別の制約の下で同じ論理を示す。教室でのレイテンシ関門を通らなかった大型の候補ではなく、8Bの本番モデルが採用された。Guadalupe, Topón and Izaは中央値5秒の目標を3.57 sで満たしたが、p95では6.47 sで届かず、エンドツーエンド時間の約96%が生成に由来することを突き止めた。
ローカルで動かすことは、プライバシーの問いを契約上のものから物理的なものへ変えるが、その問いに答えるわけではない。プロンプトを完全にログ記録するローカル環境も、依然としてデータを保持するシステムである。変わるのは、誰が提出を強制されうるかである。
バックオフィスもインフラである
Pardos and Borchersは、教育におけるAIの重要な現場はチャット画面ではなく、教務部門、履修指導部門、カリキュラム委員会だと論じる。彼らの例は会話ではなく埋め込みである。履修履歴から学習された科目ベクトル、2つの機関のベクトル空間のあいだの機械翻訳、オープンな資源を標準に対応づけるタグ付けパイプライン。
数値は具体的である。埋め込みによる単位移転の予測は既存の単位互換65件を検証し、現在は59機関と4つの高等教育システムで試行されている。単位数は体感学習負荷の分散の6%しか説明せず、LMSの活動特徴量は36%を説明した。協調的なAIタグ付けは時間を約50%削減したが、精度を35%低下させた。
インフラの設計者が覚えておくべきなのは、導入に関する知見である。2×2の実験では、信頼度の低い外れ値の推薦を隠すと管理者の受容率と生産性が上がり、外れ値を表示しないかぎり、利用者に推薦へフラグを付けるよう求めると受容率が下がった。より正確な推薦システムでも、出力の提示のしかたによって失敗しうる。これはインタフェース設計を、仕上げの飾りではなくインフラの一部にする。
配管問題としてのアセスメント
AIM-CAIは、学習を解釈するために必要な証拠はすでに存在するが、互いを読み取れないシステムに断片化して散らばっていると論じる。そのフレームワークは6つの機能層、スナップショットが支持できる範囲を限る3つの推論境界、そして監査可能性、不確実性の推定、人間によるオーバーライドを含む7つのガバナンス要件からなる。これは実装ではなくフレームワークであり、著者たちもそう述べている。
LaTAは、より狭い事例を提供する。学生の成果物をベンダーに送ることに関するFERPAの問題を、管理するのではなく取り除くローカルの推論モデルである。両者を合わせると、アセスメントのインフラは学習プラットフォームの一機能ではなく、独自のデータモデルと独自の故障モードを持つ別個の問題であることが示唆される。
コスト、レイテンシ、そして可視性の問題
実装例を貫く反復的なテーマは、コストとレイテンシは誰かが計測を仕込んだときにのみ見えるようになる、ということである。Purdueの$100,000というハードウェア額は、人件費が語られていない資本支出の数字である。SPINのゲートウェイのベンチマークはプロキシのオーバーヘッドに限界を与えるが、エンドツーエンドのレイテンシについては何も語らない。MindRouterのエネルギー計量は、通常の消費電力約9.4 kWに対し、観測されたピークが14.1 kW、理論上の最大が22.1 kWであると報告する。また17日間の窓で872,997,430トークンという実績は、論文の単価では商用の同等品に対して年間$82,843〜$251,806の節約を意味する。
学区規模のホスト型プラットフォームも同じ種類の算術を報告する。PSD401 AI Studioは、商用の代替品より1トークンあたりコストが67〜90%低いと主張する。これらの数値は、同じ分母がなければ機関間で比較できない。比較できるのは、そもそも測定するという実践である。
主権には公平性の側面がある
ゲートウェイは、機関の言語をうまく扱えないローカルモデルへ振り分けることができ、その結果として生じる沈黙は中立ではない。インフラの議論とデジタル・ディバイドの議論はここで出会う。クラスタと職員を持つ機関は能力を得て、持たない機関はベンダーが提供するものを、ベンダーが定める価格でそのまま受け入れる。無料プランは本当に有用であり、同時に本当に脆い。したがって、それを恒久的な戦略として扱うことは、どの機関がサービスを受けられるかについての決定である。
実践への示唆
上級管理者は、各部門が実際にどの形態にあるのかを名指しすることから始められる。6つの形態は、誰がデータを保持し、誰が失敗を引き受けるかによって異なり、ほとんどの機関は同時に複数の形態にある。職員にはテナント、ある部門では無料ツール、別の部門ではホスト型プラットフォーム。何が使われ、データがどこへ行き、誰がモデルを変更できるのかを1ページにまとめた一覧は、そのうちの一つだけを記述した戦略文書よりも有用である。
IT部門と図書館のリーダーは、ゲートウェイをポリシーが強制される場所にできる。Fontys、MindRouter、SPINは同じ契約に収束する。単一のAPI表面、利用者ごとのクォータ、ID統合、地域ルーティング、そしてリクエストが送出される前に表示されるモデルカードである。PDFの中に生きる規則とルータの中に生きる規則は別の対象であり、新しいモデルが現れたときに効力を持つのは後者だけである。
財務と調達の担当者は、供給者を選ぶ前にコストを計測できる。シート単位のライセンス、ホスト型プラットフォーム、従量制のゲートウェイは、それぞれ異なる利用形態に有利であり、どれが安いかを知る唯一の方法は、トークン、アクティブ利用者、ピーク負荷を測ることである。Purdueのサービスは約$100,000のハードウェアで約1000人の利用者に達した。あるホスト型の試行は1人あたり月額約$3と報告する。これらの数字は、同じ分母がなければ比較できない。
教育・学習支援センターは、無料プランでの試行を試行として扱える。多くの教育者がそもそも何かを試せるのは無料ツールのおかげであり、それらには監査証跡もクォータもなく、利用規約は変わりうる。成功した試行は、機関が統治できる形態へ移行すべきである。
データセンターを持たない学校のリーダーでも、ローカルモデルを動かせる。エントリーレベルのGPUを載せた再生品のデスクトップは、建物1棟分の小型モデルをホストでき、プライバシー上の利得は契約上ではなく物理的なものである。それでもデータを保持するシステムであるため、ログ記録とアクセスは設計上の決定であり続ける。
学科長はチャット画面の先を見られる。単位互換、学習負荷のアナリティクス、タグ付け、アセスメント記録こそ、機関がすでにモデルへ決定を委ねた場所であり、これらのシステムはチャットボットと同じガバナンスを必要とする。たいていは、より少ない監視しか受けていない。
よくある誤解
「オンプレミスのほうが安い。」 ライセンス料は消えるが、ハードウェア、電力、冷却、人員が現れる。Purdueのサービスは、運用する人に誰一人支払う前にハードウェアで約$100,000かかり、人件費こそ規模を小さくしても減らない部分である。
「ゲートウェイは単なるプロキシである。」 プロキシは転送する。ゲートウェイは、どのモデル、どの地域、どの予算、どの利用者、何をログに残すか、そして利用者が送信ボタンを押す前に何を伝えるかを決める。
「ローカルならプライベートである。」 ローカルであることが変えるのは、誰がデータに召喚状を出せるかであり、保持されるかどうかではない。監査ログ、プロンプトの保存、管理者アクセスは設計上の選択であり、完全なログ記録を伴うローカル環境は依然として監視の表面である。
「GPUを買うことが戦略である。」 スケジューリング、クォータ、サポートのない容量は行列になる。成功事例は、ハードウェアについて語るのと同じかそれ以上に、ガバナンスと運用について語っている。
「AIの問題はチャットボットである。」 この文献が描く機関の価値の大半は、単位互換、学習負荷のアナリティクス、タグ付け、アセスメント記録にあり、そこでは学生がチャット画面を開くことは一度もない。
関連する概念
関連する記事
- Institutional AI Sovereignty Through Gateway Architecture: Implementation Report from Fontys ICT
- Providing On-Prem GenAI Inference Services to a Campus Community
- Service-Oriented Architecture for an On-Premises AI Gateway Without an On-Premises Cloud
- MindRouter: Open-Source LLM Inference Gateway for Institutional AI Sovereignty
- An academic chatbot with hybrid retrieval and local large language models
- Conceptualising local AI infrastructure using small language models (SLMs) for primary education
- AI in institutional workflows: Learning from higher education to unlock new affordances for education systems and institutions
- AI-Mediated Continuous Assessment Infrastructure (AIM-CAI): Connecting Learning Evidence Across Contexts and Time
- On-Premises Multi-Course RAG Tutoring for Business Education: Hardware–Software Trade-offs in a Campus AI Tutor
- LaTA: A drop-in, FERPA-compliant local-LLM autograder for upper-division STEM coursework
- Making AI Work for Students: Reflections on Institutional Practice
関連するリソース
- MindRouterアイダホ大学による Apache-2.0 の推論ゲートウェイ。vLLM と Ollama の GPU ノードからなるキャンパスクラスタを、OpenAI 互換の単一 API の背後に置き、公平シェアのスケジューリング、利用者ごとのトークンクォータ、SSO、監査ログ、GPU とエネルギーのリアルタイム監視を加えます。
- Amplify GenAIヴァンダービルト大学による MIT ライセンスのエンタープライズ生成 AI プラットフォーム。機関自身の AWS アカウントに展開し、ローカル文書に基づくカスタムアシスタント、検索拡張された回答、組織内での共有、メッセージ単位までのコスト計測を提供します。
- Canvas MCPClaude、Cursor、Codex などのエージェントが Canvas LMS の中で読み取りと操作を行えるようにするオープンソースの MCP サーバー。学生、教育者、学習デザイナー向けのツールを備え、書き込み操作はゲートされ、学生データの匿名化は任意です。