이 페이지의 목차

이 페이지는 한국어로 번역되었습니다. 문서 페이지는 여전히 영어로 작성되어 있습니다. 이 페이지를 영어로 읽기

영어 페이지의 자동 번역이며, 아직 원어민의 검수를 받지 않았습니다.

기관 AI 인프라 — 기관이 자체 규칙 아래에서 교수, 연구, 행정 전반에 걸쳐 모델을 사용할 수 있도록 운영하는 컴퓨팅, 서빙, 라우팅, 통제 계층입니다. 가중치를 보관하는 GPU와 클러스터, 요청에 응답하는 추론 서버, 요청을 계량하고 라우팅하는 게이트웨이, 이 구성을 검사 가능하게 만드는 모델 카드와 감사 로그, 학생 기록을 모델에 연결하는 데이터 파이프라인, 그리고 이 모든 것을 계속 돌아가게 하는 인력이 포함됩니다. 이는 에듀테크 플랫폼(학습자 대면 컨테이너)이나 거버넌스(둘 다를 제약하는 정책)와 같은 대상이 아닙니다.

생각해 볼 질문들

  • 귀하의 기관에서 모델은 실제로 어디에서 실행되며, 확인하지 않고도 그 물음에 답할 수 있는 사람의 이름을 댈 수 있는 사람이 있습니까?
  • 아래 여섯 가지 도입 형태 중 이미 속해 있는 것은 무엇이며, 스스로 속해 있다고 생각했던 것은 무엇입니까?
  • 사용량의 구십 퍼센트가 사용자 십 퍼센트에게서 나온다면, 좌석당 라이선스와 계량형 게이트웨이 중 어느 쪽이 예산에 더 유리하며, 귀하의 사용량이 어떤 형태인지 알고 계십니까?
  • 정책 문서에 요청이 관할 구역 밖으로 나가서는 안 된다고 적혀 있습니다. 사람들이 그것을 기억하기를 요구하는 대신, 귀하의 스택에서 그것을 강제하는 것은 무엇입니까?
  • 교과 연계 추천이 잘못되었을 때 누가 책임을 지며, 귀하의 인프라는 나중에 그 물음에 답할 수 있을 만큼 충분히 기록하고 있습니까?
  • 초등학교의 경우, 모델이 프론티어 규모로 원격에 있는 것이 아니라 작아서 건물 안에서 실행될 때 무엇이 달라집니까?

들어가며

기관들은 생성형 AI의 초기 몇 년간 접근 권한을 구매하는 데 보냈습니다. 여기서는 챗봇 라이선스, 저기서는 작문 어시스턴트, 각각 고유한 약관과 고유한 데이터 경로를 가지고 있었습니다. 그 결과는 아무도 한 문장으로 설명할 수 없는 포트폴리오와, 어느 단일 부서도 답할 수 없는 질문들(그 프롬프트는 어디로 갔는가, 누가 이 모델을 승인했는가, 우리는 얼마를 썼는가)입니다.

AI를 인프라로 취급하는 것이 그 대응입니다. 이는 공유 서빙 계층, 모든 요청에 기관의 규칙을 적용하는 게이트웨이, 그리고 비용, 부하, 장애를 볼 수 있을 만큼 충분한 텔레메트리를 의미합니다. 문헌의 주장은 이것이 더 저렴하다는 것이 아닙니다. 기관이 결정하는 주체가 되게 만든다는 것이며, 이는 다른 종류의 주장이자 검증하기 더 어려운 주장입니다.

여기 모인 논문들은 인프라로 간주되는 것의 범위도 넓힙니다. 둘은 채팅과 교수를 위한 추론을 다루고, 하나는 교무처를, 하나는 평가 기록을 다룹니다. 교과 연계, 워크로드 분석, 증거 축적이 임베딩과 모델 호출에 의존하게 되면, 백오피스는 GPU 랙만큼이나 스택의 일부가 됩니다. 인프라란 기관이 조용히 모델에 결정을 위임한 곳이라면 어디든이라는 것이 논지입니다.

실제로 선택하고 있는 것

이 분야는 둘이 아니라 여섯 가지 형태를 기술합니다. 이들은 누가 데이터를 보유하는지, 누가 모델을 바꿀 수 있는지, 누가 장애를 흡수하는지에서 다릅니다.

무료 외주 도구. 교직원이나 학생이 벤더의 서비스를 무료로 사용합니다. 캐나다 Contact North의 AI Tutor Pro가 가장 명확한 사례입니다. 무료이고, 익명이며, 계정이 필요 없고, 토론, 자기 점검, 학습 가이드 구축 모드를 제공합니다. Playlab도 같은 범주에 속하며, 교육자가 자신의 교육과정에 기반한 앱을 만들 수 있게 하는 동안 벤더가 모델을 호스팅합니다. 비용은 0이 아니라 유예된 것입니다. 기관의 감사 추적이 없고, 할당량 통제가 없으며, 약관은 예고 없이 바뀔 수 있습니다. 파일럿을 하기에 방어 가능한 자리이지만, 정착하기에는 좋지 않은 자리입니다.

상용 교육 테넌트의 좌석. 학군이나 대학이 ChatGPT Edu, Microsoft 365 Copilot, Google Gemini for Education 또는 유사한 테넌트를 구매합니다. 조달이 빠르고, SSO와 관리 콘솔이 기본 제공되며, 벤더가 모델 선택과 데이터 보유를 소유합니다. 기관은 신원 통합을 얻는 대신 제공자를 우회하여 라우팅할 능력을 잃습니다.

직접 호스팅하는 플랫폼. Amplify GenAI는 기관 자체 AWS 계정에 배포되므로, 벤더가 애플리케이션을 제공하는 동안 문서와 대화는 기관이 통제하는 인프라 안에 남습니다. Vanderbilt의 파일럿은 사용자 1,300명에서 사용자당 월 약 $3, 그중 절반은 토큰 지출이 $1 미만이었다고 보고했습니다. 이 형태는 GPU를 사지 않고 데이터 통제를 삽니다.

혼합 제공자 위의 게이트웨이. 로컬 및 상용 백엔드 앞에 하나의 정문을 두고, 할당량, SSO, 로깅, 지역 라우팅을 부착합니다. Fontys는 이를 세 계층으로 구축했고, MindRouter와 SPIN이 변형을 구현합니다. 정책 문서를 강제되는 제약으로 바꾸는 형태이며, 조달 담당자가 아니라 플랫폼 엔지니어를 필요로 하는 형태입니다.

자체 추론. GPU, 스케줄러, 모델 서버, 그리고 이를 운영하는 사람들입니다. University of Idaho의 MindRouter가 참조 사례이고, Georgia Tech의 SPIN은 HPC 센터 안에서 같은 베팅을 한 것입니다. 기관이 소환장, 규제 기관, 벤더의 가격 변경에 허락을 구하지 않고 답할 수 있는 유일한 형태입니다.

이미 운영하는 도구 안의 AI. Moodle 문제 유형, 토론 플랫폼의 AI 파트너, 에세이 피드백 도구입니다. 조직적 부담이 작고 변화가 교과 단위로 도착하며, 그것이 한계이기도 합니다. 중앙에서는 그 무엇도 거기서 배우지 못합니다.

이 형태들은 중첩됩니다. 게이트웨이가 호스팅 플랫폼 앞에 설 수 있고, 호스팅 플랫폼이 로컬 모델을 호출할 수 있으며, 무료 도구가 위의 어느 것도 정당화하지 않는 파일럿이 될 수 있습니다. 유용한 질문은 어느 형태가 최선인가가 아니라, 각 형태가 귀하를 위해 조용히 어떤 결정을 내리는가입니다.

이 부문의 실제 기본값은 벤더 테넌트의 좌석입니다. 모든 기관이 의도적으로 선택하는 것은 아닙니다. 127개 기관을 연구한 OfS와 Advance HE(2026)는 대부분이 기존 Microsoft 365 라이선스를 통해 도구를 제공하며, 가장 흔한 것은 Copilot Chat인데, 그 폐쇄 환경이 기관 데이터를 컴플라이언스 범위 안에 유지하기 때문에 가치 있게 여겨진다는 것을 발견했습니다. 라이선스가 없는 기관의 교직원들은 더 강력한 무료 도구에 손을 뻗었고, 때로는 학생 데이터를 가지고 그랬으며, 참가자들은 오늘의 무료 또는 저가 등급이 내일의 예산에 없는 가격 인상이 된다고 지적했습니다.

게이트웨이 계층

세 가지 구현이 이제 놀라울 만큼 일관되게 같은 아키텍처 이동을 기술합니다.

Fontys ICT의 Huijts와 Suilen은 기관 신원에 묶인 ChatGPT 스타일 프론트엔드, 예산과 지역 제약을 강제하는 라우팅 코어, 로컬 및 상용 모델의 제공자 계층을 분리합니다. 6개월 후 사용자 300명 시점에, 월 $500 상한은 한 번도 초과된 적이 없었고, 모든 세션은 기능, 호스팅 지역, 비용, 대안을 명시한 모델 카드로 시작되었습니다.

MindRouter는 같은 생각을 스케줄링으로 밀어붙입니다. 요청은 Weighted Deficit Round Robin을 통해 역할별 가중치(관리자 10, 교수 5, 교직원 2, 학생 1)를 받으며, 백엔드 선택은 지연, 부하, 관리자 선호에 대한 소프트 점수를 더합니다. 게이트웨이는 감사 로그를 보관하며, 토큰뿐 아니라 에너지도 계량합니다.

Georgia Tech의 SPIN은 API 경계에서 분리를 명시적으로 만듭니다. CPU 전용 가상 머신의 LiteLLM과 PostgreSQL, Slurm 안 GPU 노드의 vLLM과 Triton으로, 백엔드 호스트, 포트, 키는 요청 시점에 데이터베이스에서 해석됩니다. 모델 교체는 클라이언트에게 보이지 않는 데이터베이스 업데이트가 됩니다.

차이점은 시사적입니다. Fontys는 다중 제공자 포트폴리오를 거버넌스하고, MindRouter는 희소한 공유 용량을 거버넌스하며, SPIN은 작업을 종료하도록 설계된 배치 스케줄러 위의 추론을 거버넌스합니다. 셋 모두 하나의 주장으로 수렴합니다. API 표면이 계약이며, 그 뒤의 모델은 교체 가능하다는 것입니다.

서빙은 벤치마크가 아니라 정책입니다

Purdue의 두 서비스는 약 $100,000의 하드웨어로 10개 이상의 오픈 소스 모델에서 1000명 이상의 사용자에게 도달했으며, 월간 활성은 약 40%였습니다. 중요한 결정은 팀이 vLLM의 4-5배 처리량 우위에도 불구하고 vLLM 대신 Ollama를 유지했다는 것입니다. 무언가를 시도해 보고 싶어 하는 커뮤니티에게는 원시 속도보다 많은 모델을 지원하는 것이 더 중요했기 때문입니다.

SPIN의 부하 테스트는 그림의 나머지 절반을 제공합니다. 초당 1000개 동시 요청으로 모의 엔진을 상대로, 8-vCPU 게이트웨이 VM은 이상적 집계 속도의 76%에 도달한 반면 8워커 베어메탈은 98%에 도달했습니다. 프록시 계층은 저렴하다가 어느 순간 더 이상 저렴하지 않게 되며, 그 임계값은 신비로운 것이 아니라 측정 가능합니다.

어느 결과도 규칙으로 일반화되지 않습니다. 이 결과들은 처리량, 모델 폭, 운영 단순성이 서로 맞교환되며, 그 교환은 벤더의 기본값에서 물려받는 것이 아니라 의도적으로 이루어져야 함을 확립합니다.

엣지가 논변을 바꿉니다

Zulfiqar와 Iqbal은 학교 규모의 대안을 기술합니다. 보급형 GPU를 갖춘 리퍼비시 데스크톱이나 미니 PC가 1B에서 13B 파라미터 사이의 모델을 호스팅하며, 서버당 수백에서 수천 호주 달러의 개략적 비용이 듭니다. 그들의 경제적 논거는 교실 전반의 누적 클라우드 API 비용을 감당할 수 없는 학생 400명 학교입니다. 그들의 정직성은 포괄적인 수명주기 비용 비교가 존재하지 않는다는 인정에 있으며, 따라서 절감은 발견이 아니라 가설입니다.

교과 규모에서는 CourseChat이 다른 제약 아래 같은 논리를 보여줍니다. 교실 지연 게이트를 통과하지 못한 더 큰 후보들 대신 8B 프로덕션 모델이 유지되었습니다. Guadalupe, Topón, Iza는 중앙값 5초 목표를 3.57초로 충족했지만 p95에서는 6.47초로 놓쳤고, 종단 간 시간의 약 96%를 생성에서 추적했습니다.

로컬 실행은 프라이버시 질문을 계약적인 것에서 물리적인 것으로 바꾸지만, 그것에 답하지는 않습니다. 전체 프롬프트 로깅을 갖춘 로컬 배포도 여전히 보유 시스템입니다. 달라지는 것은 누구에게 넘기도록 강요당할 수 있는가입니다.

백오피스도 인프라입니다

Pardos와 Borchers는 교육에서의 AI의 중대한 현장이 채팅 창이 아니라 교무처, 학사 상담실, 교육과정 위원회라고 주장합니다. 그들의 예시는 대화가 아니라 임베딩입니다. 수강 이력에서 학습한 교과 벡터, 두 기관의 벡터 공간 사이의 기계 번역, 공개 자원을 표준에 매핑하는 태깅 파이프라인입니다.

숫자는 구체적입니다. 임베딩 기반 편입 예측은 기존 연계 65건을 검증했으며 현재 59개 기관과 네 개의 고등 교육 시스템에서 파일럿 중입니다. 학점 시간은 지각된 워크로드 분산의 6%만 설명한 반면 LMS 활동 특성은 36%를 설명했습니다. 협업 AI 태깅은 시간을 약 50% 줄였지만 정확도를 35% 낮췄습니다.

도입에 관한 발견이 인프라 기획자가 간직해야 할 것입니다. 2×2 실험에서, 신뢰도가 낮은 이상치 추천을 숨기면 관리자의 수용도와 생산성이 올라간 반면, 사용자에게 추천에 플래그를 달라고 요청하면 이상치를 보여주지 않는 한 수용도가 낮아졌습니다. 더 정확한 추천기도 출력이 제시되는 방식 때문에 실패할 수 있으며, 이는 인터페이스 설계가 마무리 손질이 아니라 인프라의 일부가 되게 합니다.

배관 문제로서의 평가

AIM-CAI는 학습을 해석하는 데 필요한 증거가 이미 존재하지만 서로 읽을 수 없는 시스템들에 파편화되어 있다고 주장합니다. 그 프레임워크는 여섯 개의 기능 계층, 스냅샷이 지지할 수 있는 것을 제한하는 세 개의 추론 경계, 감사 가능성, 불확실성 추정, 인간 개입을 포함한 일곱 개의 거버넌스 요구사항을 갖습니다. 배포가 아니라 프레임워크이며, 저자들도 그렇게 말합니다.

LaTA는 더 좁은 사례를 제공합니다. 학생 과제를 벤더에 보내는 것에 관한 FERPA 질문을 관리하는 대신 제거하는 로컬 추론 모델입니다. 둘은 함께 평가 인프라가 학습 플랫폼의 기능이 아니라 자체 데이터 모델과 자체 장애 양식을 가진 별개의 문제임을 시사합니다.

비용, 지연, 그리고 가시성 문제

구현 전반에서 반복되는 주제는 비용과 지연이 누군가 계측할 때에만 비로소 보인다는 것입니다. Purdue의 $100,000 하드웨어 수치는 명시되지 않은 인건비를 안고 있는 자본 숫자입니다. SPIN의 게이트웨이 벤치마크는 프록시 오버헤드에 경계를 지을 뿐 종단 간 지연에 대해서는 아무것도 말하지 않습니다. MindRouter의 에너지 회계는 정상 소비 약 9.4 kW 대 관측 피크 14.1 kW, 이론적 최대 22.1 kW를 보고하며, 17일 구간의 872,997,430 토큰은 논문의 요율로 상용 등가물 대비 연간 $82,843에서 $251,806의 절감을 함의합니다.

학군 규모의 호스팅 플랫폼도 같은 종류의 산수를 보고합니다. PSD401 AI Studio는 상용 대안보다 토큰당 비용이 67에서 90% 낮다고 주장합니다. 이 숫자들 중 어느 것도 같은 분모 없이는 기관 간 비교가 가능하지 않습니다. 비교 가능한 것은 측정 자체를 하는 관행입니다.

주권에는 형평성 차원이 있습니다

게이트웨이는 기관의 언어를 잘 처리하지 못하는 로컬 모델로 라우팅할 수 있으며, 그 결과로 생기는 침묵은 중립적이지 않습니다. 인프라 논변과 디지털 격차 논변이 여기서 만납니다. 클러스터와 인력을 가진 기관은 역량을 얻고, 그렇지 못한 기관은 벤더가 제시하는 것을 벤더가 정하는 가격으로 흡수합니다. 무료 등급은 진정으로 유용하고 진정으로 취약하며, 따라서 그것을 영구 전략으로 취급하는 것은 어떤 기관이 서비스받을지에 대한 결정입니다.

실천을 위한 함의

고위 행정가는 각 부서가 실제로 속한 형태를 명명하는 것에서 시작할 수 있습니다. 여섯 형태는 누가 데이터를 보유하고 누가 장애를 흡수하는지에서 다르며, 대부분의 기관은 동시에 여러 형태에 속해 있습니다. 교직원에게는 테넌트, 한 학과에는 무료 도구, 다른 학과에는 호스팅 플랫폼. 무엇이 사용 중인지, 데이터가 어디로 가는지, 누가 모델을 바꿀 수 있는지에 대한 한 장짜리 목록이 그중 하나만을 기술하는 전략 문서보다 더 유용합니다.

IT와 도서관 리더십은 게이트웨이를 정책이 강제되는 장소로 만들 수 있습니다. Fontys, MindRouter, SPIN은 같은 계약으로 수렴합니다. 하나의 API 표면, 사용자별 할당량, 신원 통합, 지역 라우팅, 그리고 요청이 나가기 전에 표시되는 모델 카드. PDF 안에 사는 규칙과 라우터 안에 사는 규칙은 다른 대상이며, 새 모델이 나타날 때 버티는 것은 두 번째뿐입니다.

재무 및 조달 담당자는 공급자를 선택하기 전에 비용을 계측할 수 있습니다. 좌석당 라이선스, 호스팅 플랫폼, 계량형 게이트웨이는 서로 다른 사용량 형태에 보상을 주며, 어느 쪽이 더 저렴한지 아는 유일한 방법은 토큰, 활성 사용자, 피크 부하를 측정하는 것입니다. Purdue의 서비스는 약 $100,000의 하드웨어로 약 1000명의 사용자에게 도달했고, 호스팅 파일럿은 사용자당 월 약 $3을 보고합니다. 그 수치들은 같은 분모 없이는 비교할 수 없습니다.

교수학습센터는 무료 등급의 파일럿을 파일럿으로 취급할 수 있습니다. 무료 도구는 많은 교육자가 무언가를 시도해 볼 수 있게 하는 이유이며, 감사 추적도, 할당량도 없이, 바뀔 수 있는 약관과 함께 옵니다. 성공한 파일럿은 기관이 거버넌스할 수 있는 형태로 이동해야 합니다.

데이터 센터가 없는 학교 리더도 로컬 모델을 실행할 수 있습니다. 보급형 GPU를 갖춘 리퍼비시 데스크톱이 건물 하나를 위한 작은 모델을 호스팅하며, 프라이버시 이득은 계약적이 아니라 물리적입니다. 여전히 보유 시스템이므로 로깅과 접근은 설계 결정으로 남습니다.

학과장은 채팅 창 너머를 볼 수 있습니다. 연계, 워크로드 분석, 태깅, 평가 기록이 기관이 이미 모델에 결정을 위임한 곳이며, 그 시스템들은 챗봇과 같은 거버넌스를 필요로 하는데 대개 더 적은 검토를 받습니다.

흔한 오해

"온프레미스가 더 저렴하다." 라이선스 비용은 사라지고 하드웨어, 전력, 냉각, 인력이 나타납니다. Purdue의 서비스는 누군가 운영하도록 급여를 받기 전에 하드웨어에 약 $100,000이 들었으며, 인건비가 축소되지 않는 부분입니다.

"게이트웨이는 그냥 프록시다." 프록시는 전달합니다. 게이트웨이는 어떤 모델, 어떤 지역, 어떤 예산, 어떤 사용자, 무엇이 로그되는지, 그리고 사용자가 보내기를 누르기 전에 무엇을 듣는지를 결정합니다.

"로컬이면 프라이빗하다." 로컬성은 데이터가 보유되는지 여부가 아니라 누구에게 소환할 수 있는지를 바꿉니다. 감사 로깅, 프롬프트 저장, 관리자 접근은 설계 선택이며, 전체 로깅을 갖춘 로컬 배포도 여전히 감시 표면입니다.

"GPU 구매가 전략이다." 스케줄링, 할당량, 지원 없는 용량은 대기열이 됩니다. 성공 사례들은 하드웨어 못지않게 거버넌스와 운영을 기술합니다.

"AI 문제는 챗봇이다." 이 문헌이 기술하는 기관 가치의 대부분은 연계, 워크로드 분석, 태깅, 평가 기록에 있으며, 그곳에서는 어떤 학생도 채팅 창을 열지 않습니다.

연결된 개념

연결된 문서

연결된 리소스

  • MindRouter
    아이다호 대학의 Apache-2.0 추론 게이트웨이로, vLLM과 Ollama GPU 노드로 된 캠퍼스 클러스터를 하나의 OpenAI 호환 API 뒤에 두고 공정 분배 스케줄링, 사용자별 토큰 할당량, SSO, 감사 로깅, 실시간 GPU 및 에너지 모니터링을 더합니다.
  • Amplify GenAI
    Vanderbilt의 MIT 라이선스 엔터프라이즈 생성형 AI 플랫폼으로, 기관 자체 AWS 계정에 배포됩니다: 로컬 문서에 기반한 맞춤 어시스턴트, 검색 증강 답변, 조직 전체 공유, 개별 메시지까지 내려가는 비용 회계를 제공합니다.
  • Canvas MCP
    Claude, Cursor, Codex 및 다른 에이전트가 Canvas LMS 안에서 읽고 행동할 수 있게 하는 오픈 소스 MCP 서버입니다. 학생, 교육자, 학습 설계자용 도구를 제공하며 쓰기 작업에는 게이트가 걸려 있고 학생 데이터 익명화는 선택 사항입니다.

이 페이지 삽입

아래 코드를 복사하여 학습 관리 시스템이나 다른 웹사이트에 이 페이지를 삽입하세요. 삽입된 버전은 페이지 콘텐츠만 표시하며, 사이트의 헤더, 내비게이션, 푸터는 숨겨집니다.