인프라와 비용
NVIDIA Nemotron 3.5 Super VL, AWS EKS·HyperPod에서 배포 가능
NVIDIA의 120B MoE 멀티모달 모델 Nemotron 3.5 Super VL을 Amazon EKS와 SageMaker HyperPod EKS에서 돌리는 참조 구현이 AWS 블로그에 공개됐다. 토큰당 12B만 활성화하며 BF16·NVFP4 체크포인트를 제공한다.
인프라와 비용
AI 반도체, 데이터센터, 사용 비용에 관한 소식입니다.
인프라와 비용
UC 버클리 LEANN 공개, RAG 인덱스 201GB를 6GB로 축소
UC 버클리 Sky Computing Lab이 임베딩을 저장하지 않고 질의 때 다시 계산하는 오픈소스 벡터 인덱스 LEANN을 공개했다. 저장소 벤치마크에서 6천만 청크 인덱스가 201GB에서 6GB로 줄었고, NQ 검색은 HNSW의 0.05초보다 긴 2.48초가 걸린다.
OpenAI인프라와 비용
OpenAI API, 12시간 프롬프트 캐싱 추가, 캐시 쓰기는 입력가 2.5배
OpenAI가 API에서 12시간 동안 프롬프트를 캐시에 보관하는 옵션을 10월 20일 추가했다. 요청 간격이 몇 시간이어도 캐시 입력 요금이 적용되며, 캐시 쓰기 비용은 입력 토큰 가격의 2.5배다.
인프라와 비용
Gandalf, KV 캐시 SSD 오프로딩 시 수명 평균 7.3배 늘리는 기법 제안
연구진이 LLM 서빙에서 KV 캐시를 SSD에 내려놓을 때 쓰기량을 줄여 SSD 수명을 평균 7.3배 늘리는 시스템 Gandalf를 제안했다. 캐시 적중률에는 거의 영향이 없다고 밝혔다.
Google인프라와 비용
Google, AI 에이전트마다 격리 microVM 주는 Agent Compute Engine 발표
Google이 AI 에이전트 하나당 하드웨어로 격리한 microVM을 할당하는 Agent Compute Engine을 발표했다. 이미 Gemini에 쓰이고 있으며 프리뷰는 몇 달 안에 열린다.
인프라와 비용
DeepSeek, 추론 엔진 DeepInfer를 Apache 2.0으로 공개
DeepSeek가 V4.1-Flash를 서비스하는 추론 엔진 DeepInfer를 Apache 2.0으로 공개했다. 토큰 인코딩·디코딩 계층 deepseek-recipe도 MIT 라이선스로 함께 냈지만, 오프라인 추론만 지원한다.
Google인프라와 비용
llm-d 1.0 출시, 자체 GPU·TPU에서 분산 추론 운영 지원
Google, Red Hat, IBM 등이 쿠버네티스 기반 오픈소스 분산 추론 스택 llm-d 1.0을 내놨다. 다중 사용자 우선순위 제어, 무중단 업그레이드, 에이전트용 라우팅이 추가됐다.
Google인프라와 비용
Google·Meta, PyTorch를 TPU에서 바로 돌리는 TorchTPU 소개
Google과 Meta의 오픈소스 협업 프로젝트 TorchTPU가 Google TPU용 네이티브 PyTorch 백엔드로 제시됐다. 논문 초록은 원활한 모델 실행과 TPU 이전이 가능하다고 설명한다.
인프라와 비용
DeepSeek, Huawei Ascend 950DT로 모델 사전 학습 추진
DeepSeek가 Huawei와 AI 칩을 함께 설계하고, Ascend 950DT를 이르면 올해 말 사전 학습에 쓸 계획이라고 The Information이 보도했다.
인프라와 비용
Cloudflare, AI 코드 리뷰어 비용 68% 절감하고 속도 2.7배 높여
Cloudflare가 자사 AI 코드 리뷰어의 리뷰 한 건당 평균 비용을 2.43달러에서 0.77달러로 낮췄다. 캐시 구조 수정과 모델·추론 강도 조정으로 중앙값 소요 시간도 4분 9초에서 1분 32초로 줄었다.
인프라와 비용
AWS, vLLM에 KV 캐시 전송 2종 공개, 첫 토큰 지연 최대 3.3배 단축
AWS가 오픈소스 추론 엔진 vLLM에 다중 턴 에이전트용 양방향 KV 캐시 전송과 푸시 방식 전송을 기여했다. 양방향 전송은 GLM-5-FP8에서 첫 토큰 시간이 최대 3.3배, 푸시는 Qwen3-32B에서 풀 방식 대비 최대 3배 개선됐다고 밝혔다.
Google인프라와 비용
Gemini 4 Argon 입력 요금 12월 1일부터 100만 토큰당 2달러에서 4달러로 두 배 인상
Google이 Gemini API 요금 페이지를 갱신했다. Gemini 4 Argon의 입력 요금은 100만 토큰당 2달러에서 12월 1일부터 4달러가 되고, Gemini 3.8 Flash는 2027년 1월 1일부터 오른다.
인프라와 비용
AWS, SageMaker AI의 MoE 추론 커널 최적화 3가지 공개
AWS가 SageMaker AI에서 전문가 혼합(MoE) 모델의 추론 커널을 최적화한 방법을 공개했다. H200에서 행렬 순서 교환은 처리량 2~4%, Triton 백엔드 선택은 10% 향상, 재컴파일 제거는 첫 토큰 시간 9% 단축을 냈다.
인프라와 비용
명인이노, 메모리 64GB로 줄인 MSI 엣지엑스퍼트 국내 출시
명인이노가 NVIDIA DGX Spark 기반 소형 AI 컴퓨터 MSI 엣지엑스퍼트의 64GB 모델을 국내에 내놓는다. 128GB 모델과 같은 칩과 소프트웨어를 쓰며 메모리만 64GB로 바꿨고, 시판은 23일부터다.