本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

本页是英文页面的机器翻译,尚未经母语者审校。

机构 AI 基础设施——机构自行运营的计算、服务、路由与控制层,使模型可以在自有规则下跨教学、研究与行政被使用。它涵盖保存权重的 GPU 与集群、应答请求的推理服务器、计量并路由请求的 网关、让这一安排可被检视的模型卡与审计日志、把学生记录连接到模型的数据管道,以及维持这一切运转的人员。它与教育技术平台(面向学习者的容器)或治理(约束两者的政策)不是同一个对象。

值得思考的问题

  • 在你的机构里,模型究竟在哪里运行,是否有人能不查资料就说出那个能回答此问题的人是谁?
  • 下文的六种采纳形态中,你已经处于哪几种,又以为自己处于哪一种?
  • 如果九成的使用量来自一成的用户,按席位授权与计量网关哪一种更合你的预算,你知道自己的使用属于哪种形态吗?
  • 一份政策文件写明请求不得离开本辖区。你的技术栈中有什么在强制执行这一点,而不是请人们记住它?
  • 当一条课程衔接建议是错的,谁负其责,你的基础设施是否记录了足以日后回答这一问题的信息?
  • 对一所小学而言,当模型是小型的、运行在楼内,而非前沿规模且远程时,什么会改变?

引言

机构在生成式 AI的最初几年是在购买访问权:这里一份聊天机器人授权,那里一个写作助手,各自带着自己的条款与自己的数据路径。结果是一份没人能用一句话描述的资产组合,以及一组没有任何单一办公室能回答的问题(那条提示去了哪里、谁批准了这个模型、我们花了多少钱)。

把 AI 当作基础设施来对待就是回应。它意味着一个共享的服务层、一个对每个请求施加机构规则的网关,以及足以看见成本、负载与故障的遥测。文献中的主张并不是这样更便宜,而是它使机构成为那个做决定的一方——这是一种不同性质的主张,也更难检验。

这里汇集的文章还拓宽了什么算作基础设施。两项关乎聊天与教学的推理,一项关乎注册办公室,一项关乎评估记录。一旦课程衔接、工作量分析与证据积累依赖嵌入与模型调用,后台就与 GPU 机架一样是技术栈的一部分。其论点是:基础设施就在机构悄然把某项决定委托给模型的地方。

你实际在选择什么

该领域描述的是六种形态,而非两种。它们的区别在于谁持有数据、谁能更改模型,以及谁承担失败。

免费的外包工具。 员工或学生免费使用供应商的服务。加拿大 Contact North 的 AI Tutor Pro 是最清楚的例子:免费、匿名、无需账户,具备讨论、自检与学习指南构建等模式。Playlab 属于同一档,让教育者构建以自身课程为依据的应用,而模型由供应商托管。成本并非为零,而是被推迟:没有机构审计轨迹、没有配额控制,条款可以不经通知而变更。这是可以站得住脚的试点之处,也是糟糕的长期立足之地。

商业教育租户上的席位。 学区或大学购买 ChatGPT Edu、Microsoft 365 Copilot、Google Gemini for Education 或类似的租户。采购迅速,SSO 与管理控制台随附,而模型选择与数据保留由供应商掌握。机构获得了身份集成,却失去了绕开某一供应商的能力。

你自行托管的平台。 Amplify GenAI 部署到机构自己的 AWS 账户中,因此文档与对话留在机构控制的基础设施内,而供应商提供应用。Vanderbilt 的试点报告在 1,300 名用户中约每人每月 $3,其中一半用户的 token 支出低于 $1。这一形态买到的是数据控制,而不是 GPU。

混合供应商之上的网关。 一道前门面向本地与商业后端,附带配额、SSO、日志与区域路由。Fontys 把它建为三层;MindRouter 与 SPIN 实现了变体。这是把政策文件变成被强制执行之约束的形态,也是需要平台工程师而非采购官员的形态。

你自己的推理。 GPU、调度器、模型服务器与运行它们的人。爱达荷大学的 MindRouter 是参照案例;佐治亚理工的 SPIN 是在 HPC 中心内部下的同一注。这是唯一一种机构无需请求许可就能回应传票、监管者或供应商价格变动的形态。

你已在运行的工具中的 AI。 一个 Moodle 题型、一个讨论平台的 AI 伙伴、一个作文反馈工具。组织层面的抬升很小,变化逐课到来,这同时也是它的局限:中心对此学不到任何东西。

这些形态彼此嵌套。网关可以为托管平台充当门面;托管平台可以调用本地模型;免费工具可以是那个无法为上述任何一项提供理由的试点。有用的问题不是哪种形态最好,而是每种形态在无声地为你做了哪一个决定。

本行业的真正默认选项是供应商租户上的一个席位。 并非每所机构都刻意做出这一选择。OfS 与 Advance HE(2026)研究了 127 所机构,发现多数通过既有的 Microsoft 365 授权提供工具,最常见的是 Copilot Chat,其价值在于封闭环境把机构数据留在合规范围之内。没有授权的机构中的员工转而使用更强大的免费工具,有时还带着学生数据,参与者指出今天的免费或廉价档位会成为明天未被预算的价格上涨。

网关层

三种实现如今以异常一致的方式描述了同一架构动作。

Fontys ICT 的 Huijts 与 Suilen 把与机构身份绑定的 ChatGPT 式前端、执行预算与区域约束的路由核心,以及由本地与商业模型构成的供应商层分开。六个月、300 名用户之后,每月 $500 的上限从未被突破,每次会话都以一张模型卡开始,列明能力、托管区域、成本与替代方案。

MindRouter 把同一想法推进到调度之中。请求按角色加权(管理员 10、教师 5、职员 2、学生 1),经由加权赤字轮询(Weighted Deficit Round Robin),后端选择则按延迟、负载与管理员偏好加分。网关保存审计日志,并且既计量 token 也计量能耗。

佐治亚理工的 SPIN 在 API 边界上把这种拆分显式化:仅用 CPU 的虚拟机上运行 LiteLLM 与 PostgreSQL,Slurm 内的 GPU 节点上运行 vLLM 与 Triton,后端主机、端口与密钥在请求时从数据库解析。更换模型变成一次对客户端不可见的数据库更新。

差异很有教益。Fontys 治理的是一个多供应商组合,MindRouter 治理的是稀缺的共享容量,SPIN 治理的是运行在按设计会结束作业的批处理调度器之上的推理。三者汇聚于同一项主张:API 表面就是契约,其背后的模型是可替换的。

服务是一项政策,而非基准测试

普渡的两项服务以约 $100,000 的硬件,在 10 多个开源模型上达到 1000 多名用户,月活跃约 40%。真正重要的决定是团队保留了 Ollama 而非 vLLM,尽管 vLLM 有 4-5 倍的吞吐优势,因为对一个想尝试各种东西的社群而言,支持众多模型比原始速度更重要。

SPIN 的负载测试给出图景的另一半。针对模拟引擎、每秒 1000 个并发请求,一台 8 vCPU 的网关虚拟机达到理想总速率的 76%,而 8 个工作进程的裸机达到 98%。代理层便宜,直到它不再便宜,而这个阈值是可测量的,而非神秘的。

两项结果都不能推广成规则。它们确立的是吞吐量、模型广度与运维简洁性彼此权衡,而这种权衡应当被刻意做出,而不是从供应商的默认设定中继承。

边缘改变了论证

Zulfiqar 与 Iqbal 描述了一种学校规模的替代方案:一台翻新的台式机或迷你 PC,配一块入门级 GPU,托管 1B 至 13B 参数之间的模型,每台服务器的指示性价格为数百至数千澳元。他们的经济论证针对的是一所 400 名学生的学校,它无法在多个教室之间承担累计的云 API 成本。他们的诚实之处在于承认并不存在全面的生命周期成本比较,因此这项节省是假设而非发现。

在课程规模上,CourseChat 在不同约束下展现了同样的逻辑:保留一个 8B 的生产模型,而不是那些未通过课堂延迟门槛的更大候选模型。Guadalupe、Topón 与 Iza 达到了 3.57 秒的中位数成绩(目标 5 秒),但在 p95 上以 6.47 秒未达标,并把端到端时间约 96% 归因于生成。

本地运行把隐私问题从合同性变为物理性,却并没有回答它。带完整提示日志的本地部署仍是一个数据保留系统;改变的是谁可以被强制交出它。

后台也是基础设施

Pardos 与 Borchers 论证,教育中的 AI 的要害场所不是聊天窗口,而是注册办公室、学业指导办公室与课程委员会。他们的例子是嵌入而非对话:从选课历史学到的课程向量、两个机构向量空间之间的机器翻译,以及把开放资源映射到某一标准的标注管道。

数字很具体。基于嵌入的转学分预测验证了 65 条既有课程衔接,目前正在 59 所机构与四个高等教育系统中试点。学分学时只解释了感知工作量方差的 6%,而 LMS 活动特征解释了 36%。协作式 AI 标注把时间缩减约 50%,但使准确性下降 35%。

关于采纳的发现是基础设施规划者应当记住的那一条。在一项 2×2 实验中,隐藏低置信度的离群建议提高了管理者的接受度与生产率,而要求用户标记建议则降低了接受度——除非把离群项显示出来。一个更准确的推荐系统仍可能因其输出的呈现方式而失败,这使界面设计成为基础设施的一部分,而不是收尾工作。

评估是一个管道问题

AIM-CAI 论证,解释学习所需的证据已经存在,只是分散在彼此无法读取的系统之中。其框架有六个功能层、三条限制快照所能支持之推断的推断边界,以及七项治理要求,包括可审计性、不确定性估计与人工覆写。这是一个框架而非一次部署,作者也如此说明。

LaTA 提供了更窄的案例:一个本地推理模型,把向供应商发送学生作业所带来的 FERPA 问题取消掉,而不是去管理它。两者合起来暗示,评估基础设施不是学习平台的一个功能,而是一个有自身数据模型与自身失效模式的独立问题。

成本、延迟与可见性问题

各实现之间反复出现的主题是,成本与延迟只有在有人对其加以测量时才变得可见。普渡的 $100,000 硬件数字是一个资本数字,附带未列明的人员成本。SPIN 的网关基准界定了代理开销,却对端到端延迟只字未提。MindRouter 的能耗核算报告常态功耗约 9.4 kW,观测峰值为 14.1 kW,理论最大值为 22.1 kW;17 天窗口内的 872,997,430 个 token,按论文中的费率意味着相较商业同类方案每年可节省 $82,843 至 $251,806。

学区规模的托管平台报告的是同一种算术:PSD401 AI Studio 声称每 token 成本比商业替代方案低 67% 至 90%。没有相同的分母,这些数字在机构之间都无法比较。可以比较的,是"无论如何先测量"这一做法。

主权具有公平维度

网关可以把请求路由到一个对机构语言处理很差的本地模型,由此产生的沉默并不中立。基础设施论证与数字鸿沟论证在此相遇:拥有集群与人员的机构获得能力,没有的则接受供应商以任何价格提供的任何东西。免费档确实有用,也确实脆弱,因此把它们当作长期策略,就是一项关于哪些机构获得服务的决定。

实践启示

高层管理者可以先做的是说出每个单位实际处于哪种形态。六种形态在谁持有数据、谁承担失败上各不相同,而多数机构同时处于好几种:为员工买的租户、某个系里用的免费工具、另一个部门用的托管平台。一页纸的清点——在用的是什么、数据去了哪里、谁能更改模型——比一份只描述其中一种形态的战略文件更有用。

IT 与图书馆领导可以把网关做成政策被执行的地方。Fontys、MindRouter 与 SPIN 汇聚于同一份契约:一个 API 表面、按用户的配额、身份集成、区域路由,以及请求发出之前显示的模型卡。活在 PDF 里的规则与活在路由器里的规则是不同的对象,只有后者在新模型出现时仍然成立。

财务与采购人员可以在选择供应商之前先测量成本。按席位授权、托管平台与计量网关奖励不同的使用形态,要知道哪一种更便宜,唯一的办法是测量 token、活跃用户与峰值负载。普渡的服务以约 $100,000 的硬件达到约 1000 名用户;一项托管试点报告约每人每月 $3。没有相同的分母,这些数字无法比较。

教学与学习中心可以把免费档上的试点当作试点看待。免费工具是许多教育者得以尝试任何事物的原因,而它们没有审计轨迹、没有配额,条款还可能变化。一个成功的试点应当转向机构能够治理的形态。

没有数据中心的学校领导仍然可以运行本地模型。一台带入门级 GPU 的翻新台式机可以为一栋楼托管一个小模型,其隐私收益是物理性的而非合同性的。它仍然是一个保留系统,因此日志与访问权限仍是设计决定。

系主任可以越过聊天窗口去看。课程衔接、工作量分析、标注与评估记录,正是机构已经把决定委托给模型的地方,而这些系统需要与聊天机器人同等的治理,通常受到的审视却更少。

常见误解

“本地部署更便宜。” 许可费消失了,硬件、电力、冷却与人员出现了。普渡的服务在还没人受雇运行它之前就花了约 $100,000 的硬件费用,而人员正是不会随之缩减的那部分。

“网关只是一个代理。” 代理只做转发。网关决定用哪个模型、哪个区域、哪份预算、哪个用户、记录什么,以及在用户按下发送之前告知他们什么。

“本地就意味着私密。” 本地性改变的是谁可以向数据发出传票,而不是数据是否被保留。审计日志、提示存储与管理员访问都是设计选择,一个带完整日志的本地部署仍是监控面。

“买 GPU 就是战略。” 没有调度、配额与支持的容量会变成队列。成功的案例对治理与运营的描述至少与对硬件的描述一样多。

“AI 问题就是聊天机器人。” 这批文献所描述的多数机构价值位于课程衔接、工作量分析、标注与评估记录之中,而在那里,从来没有学生打开过聊天窗口。

关联概念

关联文章

相关资源

  • MindRouter
    爱达荷大学以 Apache-2.0 许可发布的推理网关,把校园里由 vLLM 和 Ollama GPU 节点组成的集群放在一个兼容 OpenAI 的 API 之后,并加入公平份额调度、按用户 token 配额、SSO、审计日志以及实时 GPU 与能耗监测。
  • Amplify GenAI
    范德堡大学以 MIT 许可证发布的企业级生成式 AI 平台,部署在院校自己的 AWS 账户中:基于本地文档的自定义助手、检索增强的回答、组织内共享,以及细到单条消息的成本核算。
  • Canvas MCP
    一个开源的 MCP 服务器,让 Claude、Cursor、Codex 及其他代理在 Canvas LMS 中读取和操作——面向学生、教师与教学设计者的工具,写操作受门控,并可选择对学生数据做匿名化处理。

嵌入此页

复制下面的代码,将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。