Conceitos
Infraestrutura institucional de IA
Esta é uma tradução automática da página em inglês; ainda não foi revisada por uma pessoa falante nativa.
Infraestrutura institucional de IA — a camada de computação, serving, roteamento e controle que uma instituição opera para que modelos possam ser usados no ensino, na pesquisa e na administração sob suas próprias regras. Ela abrange as GPUs e os clusters que guardam os pesos, os servidores de inferência que respondem às requisições, o gateway que as mede e roteia, os model cards e os logs de auditoria que tornam o arranjo inspecionável, os pipelines de dados que conectam registros de estudantes aos modelos e a equipe que mantém tudo isso funcionando. Não é o mesmo objeto que uma plataforma edtech (o contêiner voltado ao aprendiz) ou a governança (a política que restringe ambos).
Perguntas para refletir
- Onde o modelo realmente roda na sua instituição, e alguém consegue nomear a pessoa que saberia responder a isso sem precisar verificar?
- Em qual das seis formas de adoção abaixo você já está, e em qual você achava que estava?
- Se noventa por cento do uso viesse de dez por cento dos usuários, uma licença por assento ou um gateway com medição serviria melhor ao seu orçamento, e você sabe qual forma o seu uso tem?
- Um documento de política diz que as requisições não podem sair da jurisdição. O que na sua stack impõe isso, em vez de pedir que as pessoas se lembrem?
- Quem é responsabilizado quando uma recomendação de articulação de cursos está errada, e a sua infraestrutura registra o suficiente para responder a isso depois?
- Para uma escola de ensino fundamental, o que muda quando o modelo é pequeno e roda no próprio prédio, em vez de ser de escala de fronteira e remoto?
Introdução
As instituições passaram os primeiros anos da IA generativa comprando acesso: uma licença de chatbot aqui, um assistente de escrita ali, cada um com seus próprios termos e seu próprio caminho de dados. O resultado é um portfólio que ninguém consegue descrever em uma frase e um conjunto de perguntas (para onde foi aquele prompt, quem aprovou este modelo, quanto gastamos) que nenhum setor isolado consegue responder.
Tratar a IA como infraestrutura é a resposta. Isso significa uma camada de serving compartilhada, um gateway que aplica as regras da instituição a cada requisição e telemetria suficiente para enxergar custo, carga e falhas. A afirmação na literatura não é a de que isso seja mais barato. É a de que isso torna a instituição a parte que decide, o que é um tipo diferente de afirmação, e mais difícil de testar.
Os artigos reunidos aqui também ampliam o que conta como infraestrutura. Dois tratam de inferência para chat e ensino, um trata da secretaria de registro acadêmico e um trata de registros de avaliação. Quando a articulação de cursos, a análise de carga de trabalho e o acúmulo de evidências dependem de embeddings e chamadas de modelos, o back office passa a fazer parte da stack tanto quanto o rack de GPUs. O argumento é que infraestrutura é todo lugar onde uma instituição delegou silenciosamente uma decisão a um modelo.
O que você está realmente escolhendo
O campo descreve seis formas, não duas. Elas diferem em quem guarda os dados, quem pode mudar o modelo e quem absorve a falha.
Ferramentas terceirizadas gratuitas. Funcionários ou estudantes usam o serviço de um fornecedor sem custo. O AI Tutor Pro, da Contact North, no Canadá, é o caso mais claro: gratuito, anônimo, sem necessidade de conta, com modos para discussão, autoverificação e construção de guias de estudo. O Playlab está na mesma faixa, permitindo que educadores construam aplicativos fundamentados em seu próprio currículo enquanto o fornecedor hospeda os modelos. O custo não é zero, mas diferido: sem trilha de auditoria institucional, sem controle de cotas e com termos que podem mudar sem aviso. Este é um lugar defensável para pilotar e um lugar ruim para se instalar.
Assentos em um tenant educacional comercial. Uma rede de ensino ou universidade compra ChatGPT Edu, Microsoft 365 Copilot, Google Gemini for Education ou um tenant comparável. A aquisição é rápida, SSO e um console de administração vêm incluídos, e o fornecedor é dono da escolha do modelo e da retenção. A instituição ganha integração de identidade e perde a capacidade de rotear contornando um provedor.
Uma plataforma que você hospeda. O Amplify GenAI é implantado na própria conta AWS da instituição, de modo que documentos e conversas permanecem em infraestrutura que a instituição controla enquanto o fornecedor entrega a aplicação. O piloto de Vanderbilt relatou cerca de $3 por usuário por mês entre 1.300 usuários, com metade deles abaixo de $1 em gasto de tokens. Esta forma compra controle de dados sem comprar GPUs.
Um gateway sobre provedores mistos. Uma única porta de entrada diante de backends locais e comerciais, com cotas, SSO, logging e roteamento regional acoplados. A Fontys construiu isso em três camadas; MindRouter e SPIN implementam variantes. É a forma que transforma um documento de política em uma restrição imposta, e a que precisa de um engenheiro de plataforma, não de um agente de compras.
Sua própria inferência. GPUs, escalonadores, servidores de modelos e as pessoas que os operam. O MindRouter na Universidade de Idaho é o caso de referência; o SPIN no Georgia Tech é a mesma aposta feita dentro de um centro de HPC. Esta é a única forma em que a instituição pode responder a uma intimação judicial, a um regulador ou a uma mudança de preço do fornecedor sem pedir permissão.
IA dentro de ferramentas que você já opera. Um tipo de questão no Moodle, o parceiro de IA de uma plataforma de discussão, uma ferramenta de feedback de redações. O esforço organizacional é pequeno e a mudança chega curso a curso, o que também é o seu limite: nada no centro aprende com isso.
Essas formas se aninham. Um gateway pode ficar à frente de uma plataforma hospedada; uma plataforma hospedada pode chamar um modelo local; uma ferramenta gratuita pode ser o piloto que não justifica nenhuma das opções acima. A pergunta útil não é qual forma é a melhor, mas qual decisão cada forma silenciosamente toma por você.
O padrão real do setor é um assento em um tenant do fornecedor. Nem toda instituição faz a escolha deliberadamente. OfS e Advance HE (2026), estudando 127 instituições, descobriram que a maioria fornece ferramentas por meio do licenciamento Microsoft 365 existente, mais comumente o Copilot Chat, valorizado porque seu ambiente fechado mantém os dados institucionais dentro do envelope de conformidade. Funcionários de instituições sem licenças recorreram a ferramentas gratuitas mais poderosas, às vezes com dados de estudantes, e os participantes sinalizaram que o nível gratuito ou barato de hoje se torna o aumento de preço não orçado de amanhã.
A camada de gateway
Três implementações agora descrevem o mesmo movimento arquitetural com uma consistência incomum.
Huijts e Suilen, na Fontys ICT, separam um frontend ao estilo ChatGPT vinculado à identidade institucional, um núcleo de roteamento que impõe orçamentos e restrições regionais e uma camada de provedores com modelos locais e comerciais. Seis meses e 300 usuários depois, um teto mensal de $500 nunca havia sido ultrapassado, e cada sessão começava com um model card nomeando capacidades, região de hospedagem, custo e alternativas.
O MindRouter leva a mesma ideia para o escalonamento. As requisições são ponderadas por papel (administrador 10, docente 5, funcionário 2, estudante 1) por meio de Weighted Deficit Round Robin, e a seleção de backend acrescenta pontuações suaves para latência, carga e preferência do administrador. O gateway mantém o log de auditoria e mede energia além de tokens.
O SPIN no Georgia Tech torna a divisão explícita na fronteira da API: LiteLLM e PostgreSQL em uma máquina virtual apenas com CPU, vLLM e Triton em nós GPU dentro do Slurm, com host, porta e chave do backend resolvidos a partir do banco de dados no momento da requisição. Substituir um modelo se torna uma atualização no banco de dados invisível para os clientes.
As diferenças são instrutivas. A Fontys governa um portfólio multiprovedor, o MindRouter governa capacidade compartilhada escassa e o SPIN governa inferência em um escalonador de lotes projetado para encerrar jobs. Os três convergem para uma afirmação: a superfície da API é o contrato, e o modelo por trás dela é substituível.
Serving é uma política, não um benchmark
Os dois serviços de Purdue alcançaram mais de 1.000 usuários em mais de 10 modelos de código aberto por cerca de $100.000 em hardware, com cerca de 40% ativos mensalmente. A decisão que importa é que a equipe manteve o Ollama em vez do vLLM, apesar da vantagem de throughput de 4 a 5 vezes do vLLM, porque suportar muitos modelos importava mais do que velocidade bruta para uma comunidade que quer experimentar.
O teste de carga do SPIN dá a outra metade do quadro. Contra um motor simulado a 1.000 requisições concorrentes por segundo, uma VM de gateway com 8 vCPUs alcançou 76% da taxa agregada ideal, enquanto o bare metal com 8 workers alcançou 98%. A camada de proxy é barata até deixar de ser, e o limiar é mensurável, não misterioso.
Nenhum dos resultados se generaliza em uma regra. Eles estabelecem que throughput, variedade de modelos e simplicidade operacional exigem concessões mútuas, e que essas concessões devem ser feitas deliberadamente, em vez de herdadas do padrão de um fornecedor.
A computação de borda muda o argumento
Zulfiqar e Iqbal descrevem uma alternativa em escala escolar: um desktop recondicionado ou mini PC com uma GPU de entrada, hospedando um modelo entre 1B e 13B parâmetros, a um custo indicativo de várias centenas a vários milhares de dólares australianos por servidor. O caso econômico deles é uma escola de 400 estudantes que não consegue absorver os custos cumulativos de API de nuvem entre as salas de aula. A honestidade deles está na admissão de que não existe nenhuma comparação abrangente de custo de ciclo de vida, de modo que a economia é uma hipótese, não um achado.
Em escala de curso, o CourseChat mostra a mesma lógica sob uma restrição diferente: um modelo de produção de 8B mantido em vez de candidatos maiores que falharam em um critério de latência de sala de aula. Guadalupe, Topón e Iza atingiram a meta de mediana de 5 segundos em 3,57 s, mas a perderam no p95 com 6,47 s, e rastrearam cerca de 96% do tempo de ponta a ponta até a geração.
Rodar localmente muda a questão da privacidade de contratual para física, e não a responde. Uma implantação local com logging completo de prompts ainda é um sistema de retenção; o que muda é quem pode ser compelido a entregá-lo.
O back office também é infraestrutura
Pardos e Borchers argumentam que o lugar decisivo da IA na educação não é a janela de chat, mas o registro acadêmico, o setor de orientação e o comitê de currículo. Seus exemplos são embeddings, não conversas: vetores de cursos aprendidos a partir de históricos de matrícula, tradução automática entre os espaços vetoriais de duas instituições e pipelines de etiquetagem que mapeiam recursos abertos para um padrão.
Os números são específicos. A previsão de transferência baseada em embeddings validou 65 articulações existentes e agora é pilotada com 59 instituições e quatro sistemas de ensino superior. As horas-crédito explicaram apenas 6% da variância na carga de trabalho percebida, enquanto as características de atividade no LMS explicaram 36%. A etiquetagem colaborativa com IA cortou o tempo em cerca de 50%, mas reduziu a precisão em 35%.
O achado sobre adoção é o que os planejadores de infraestrutura devem guardar. Em um experimento 2×2, esconder recomendações atípicas de baixa confiança aumentou a aceitação e a produtividade dos administradores, enquanto pedir que os usuários sinalizassem recomendações reduziu a aceitação, a menos que as atípicas fossem mostradas. Um recomendador mais preciso ainda pode falhar por causa de como sua saída é apresentada, o que torna o design de interface parte da infraestrutura, não um toque final.
A avaliação como problema de encanamento
O AIM-CAI argumenta que a evidência necessária para interpretar a aprendizagem já existe, mas está fragmentada em sistemas que não conseguem ler uns aos outros. Seu framework tem seis camadas funcionais, três fronteiras inferenciais que limitam o que um retrato instantâneo pode sustentar e sete requisitos de governança, incluindo auditabilidade, estimativa de incerteza e sobreposição humana. É um framework, não uma implantação, e os autores dizem isso.
O LaTA fornece o caso mais estreito: um modelo local de raciocínio que remove a questão FERPA de enviar trabalhos de estudantes a um fornecedor, em vez de gerenciá-la. Juntos, eles sugerem que a infraestrutura de avaliação não é um recurso de uma plataforma de aprendizagem, mas um problema separado, com seu próprio modelo de dados e seus próprios modos de falha.
Custo, latência e o problema da visibilidade
O tema recorrente entre as implementações é que custo e latência só se tornam visíveis quando alguém os instrumenta. O valor de $100.000 em hardware de Purdue é um número de capital com um custo de pessoal não declarado. O benchmark de gateway do SPIN delimita o overhead do proxy e nada diz sobre a latência de ponta a ponta. A contabilidade de energia do MindRouter relata cerca de 9,4 kW de consumo normal contra um pico observado de 14,1 kW e um máximo teórico de 22,1 kW, e 872.997.430 tokens em uma janela de 17 dias implicam de $82.843 a $251.806 em economia anual frente a equivalentes comerciais às taxas do artigo.
Plataformas hospedadas em escala de rede de ensino relatam o mesmo tipo de aritmética: o PSD401 AI Studio afirma custo por token de 67 a 90% menor que alternativas comerciais. Nenhum desses números é comparável entre instituições sem o mesmo denominador. O que é comparável é o próprio ato de medir.
A soberania tem uma dimensão de equidade
Um gateway pode rotear para um modelo local que lida mal com o idioma da instituição, e o silêncio resultante não é neutro. O argumento da infraestrutura e o argumento da divisão digital se encontram aqui: instituições com clusters e equipe ganham capacidade, e as que não têm absorvem o que o fornecedor oferecer, ao preço que o fornecedor definir. Os níveis gratuitos são genuinamente úteis e genuinamente frágeis, o que torna tratá-los como estratégia permanente uma decisão sobre quais instituições são atendidas.
Implicações para a prática
Administradores seniores podem começar nomeando a forma em que cada unidade realmente está. As seis formas diferem em quem guarda os dados e quem absorve a falha, e a maioria das instituições está em várias ao mesmo tempo: um tenant para os funcionários, uma ferramenta gratuita em um departamento, uma plataforma hospedada em outro. Um inventário de uma página do que está em uso, para onde vão os dados e quem pode mudar o modelo é mais útil do que um documento de estratégia que descreve apenas uma delas.
As lideranças de TI e da biblioteca podem fazer do gateway o lugar onde a política é imposta. Fontys, MindRouter e SPIN convergem para o mesmo contrato: uma superfície de API, cotas por usuário, integração de identidade, roteamento regional e um model card exibido antes de a requisição sair. Uma regra que vive em um PDF e uma regra que vive em um roteador são objetos diferentes, e apenas a segunda se sustenta quando um novo modelo aparece.
As equipes de finanças e compras podem instrumentar o custo antes de escolher um fornecedor. Licenciamento por assento, plataformas hospedadas e gateways com medição recompensam formas de uso diferentes, e a única maneira de saber qual é mais barato é medir tokens, usuários ativos e carga de pico. O serviço de Purdue alcançou cerca de 1.000 usuários com aproximadamente $100.000 em hardware; um piloto hospedado relata cerca de $3 por usuário por mês. Esses valores não são comparáveis sem o mesmo denominador.
Os centros de ensino e aprendizagem podem tratar pilotos em níveis gratuitos como pilotos. As ferramentas gratuitas são a razão pela qual muitos educadores conseguem experimentar qualquer coisa, e vêm sem trilha de auditoria, sem cota e com termos que podem mudar. Um piloto que dá certo deve migrar para uma forma que a instituição possa governar.
Líderes escolares sem um data center ainda podem rodar um modelo local. Um desktop recondicionado com uma GPU de entrada hospeda um modelo pequeno para um prédio, e o ganho de privacidade é físico, não contratual. Ainda é um sistema de retenção, de modo que logging e acesso continuam sendo decisões de design.
Chefes de departamento podem olhar além da janela de chat. Articulação, análise de carga de trabalho, etiquetagem e registros de avaliação são onde as instituições já delegaram decisões a um modelo, e esses sistemas precisam da mesma governança que um chatbot, geralmente com menos escrutínio.
Ideias equivocadas comuns
"On-premises é mais barato." A taxa de licença desaparece e hardware, energia, refrigeração e equipe aparecem. O serviço de Purdue custou cerca de $100.000 em hardware antes de qualquer pessoa ser paga para operá-lo, e a equipe é a parte que não diminui com a escala.
"Um gateway é apenas um proxy." Um proxy encaminha. Um gateway decide qual modelo, qual região, qual orçamento, qual usuário, o que é registrado e o que é dito ao usuário antes de ele apertar enviar.
"Local significa privado." A localidade muda quem pode intimar judicialmente os dados, não se eles são retidos. Logging de auditoria, armazenamento de prompts e acesso de administrador são escolhas de design, e uma implantação local com logging completo ainda é uma superfície de vigilância.
"Comprar GPUs é a estratégia." Capacidade sem escalonamento, cotas e suporte vira uma fila. Os casos de sucesso descrevem governança e operações tanto quanto hardware.
"O problema da IA é o chatbot." A maior parte do valor institucional descrito nesta literatura está na articulação, na análise de carga de trabalho, na etiquetagem e nos registros de avaliação, onde nenhum estudante jamais abre uma janela de chat.
Conceitos conectados
Artigos conectados
- Institutional AI Sovereignty Through Gateway Architecture: Implementation Report from Fontys ICT
- Providing On-Prem GenAI Inference Services to a Campus Community
- Service-Oriented Architecture for an On-Premises AI Gateway Without an On-Premises Cloud
- MindRouter: Open-Source LLM Inference Gateway for Institutional AI Sovereignty
- An academic chatbot with hybrid retrieval and local large language models
- Conceptualising local AI infrastructure using small language models (SLMs) for primary education
- AI in institutional workflows: Learning from higher education to unlock new affordances for education systems and institutions
- AI-Mediated Continuous Assessment Infrastructure (AIM-CAI): Connecting Learning Evidence Across Contexts and Time
- On-Premises Multi-Course RAG Tutoring for Business Education: Hardware–Software Trade-offs in a Campus AI Tutor
- LaTA: A drop-in, FERPA-compliant local-LLM autograder for upper-division STEM coursework
- Making AI Work for Students: Reflections on Institutional Practice
Recursos relacionados
- MindRouterUm gateway de inferência sob Apache-2.0 da Universidade de Idaho que coloca uma única API compatível com OpenAI na frente de um cluster universitário de nós GPU com vLLM e Ollama, e acrescenta agendamento de repartição justa, cotas de tokens por usuário, SSO, registro de auditoria e monitoramento ao vivo de GPU e energia.
- Amplify GenAIA plataforma de IA generativa empresarial da Vanderbilt, licenciada sob MIT e implantada na própria conta da AWS da instituição: assistentes personalizados sobre documentos locais, respostas com recuperação aumentada, compartilhamento em toda a organização e contabilização de custos até a mensagem individual.
- Canvas MCPUm servidor MCP de código aberto que permite a Claude, Cursor, Codex e outros agentes ler e agir dentro do Canvas LMS — ferramentas para estudantes, educadores e designers de aprendizagem, com ações de escrita restritas e anonimização opcional dos dados de estudantes.