Baidu가 총 매개변수 2,800억 개 규모의 파운데이션 모델 ERNIE-5.5-Flash-Base를 Hugging Face에 공개했다. 미세 조정이나 사후 학습을 거치지 않고 사전 학습 단계에서 멈춘 체크포인트여서, 개발자가 도메인 적응이나 지시 학습을 직접 해야 한다. 사후 학습을 마친 버전은 뒤따를 예정이라고 The Decoder는 전했다.
모델은 텍스트만 다루는 전문가 혼합 구조로, 토큰 하나를 처리할 때 활성화되는 매개변수는 140억 개다. 33.5조 토큰으로 처음부터 사전 학습했고, 학습 문맥 길이는 최대 12만 8천 토큰이다. 미세 조정과 추론에서는 100만 토큰 문맥을 지원하며, 공개된 설정 파일은 100만 문맥을 켜 둔 상태다. 가중치는 FP8과 BF16 두 가지로 올라와 있다. 라이선스는 ERNIE 5.5 Flash Base Model License Agreement v1.0이다.1,2
구조와 설계
Baidu는 추가 학습과 에이전트 활용이 컴퓨트와 메모리 비용을 계속 키우기 때문에 효율을 설계 목표로 삼았다고 밝혔다. 어텐션, 잔차 연결, 전문가 계층, 출력 헤드를 모두 다시 손봤고, 활성 연산량과 KV 캐시, 긴 문맥 비용을 하나의 설계로 다뤘다고 한다.
네트워크는 43개 층이다. 첫 층은 일반 FFN이고 나머지 42개는 Multi-Router Latent MoE이며, 층마다 라우팅 전문가 512개(상위 10개 선택)와 공유 전문가 1개를 둔다. 어텐션은 37개 층이 Heavily Compressed Attention(HCA), 6개 층이 희소 어텐션을 쓰는 Multi-head Latent Attention(MLA+DSA)이다. HCA는 128토큰당 항목 하나만 캐시하고, 7개 층 중 하나는 MLA로 전체 문맥에 접근한다.
Baidu는 라우터 하나의 점수가 전문가의 실제 효용과 약하게만 맞는다고 보고, 독립적으로 초기화한 시그모이드 라우터 여러 개를 쓰는 Multi-Router를 도입했다. 활성 전문가 수, 전문가 연산량, 통신량은 그대로라고 밝혔다. 전문가는 2048차원 잠재 공간에서 동작해 전달과 결합이 은닉 차원의 절반 폭에서 이뤄진다. 이 밖에 어텐션 출력 게이트를 쿼리 잠재 벡터에서 계산해 게이트 투영 매개변수를 75% 줄였다고 한다. 표준 잔차 흐름 대신 확장률 4의 Manifold-constrained Hyper-Connections를 쓰고, 최적화 알고리즘은 Muon이다. 토크나이저는 약 20만 항목의 BPE다.2
벤치마크와 배포
Baidu는 같은 평가 파이프라인과 프롬프트, 퓨샷 설정으로 DeepSeek-V4-Flash-Base(284B-A13B), Hy3-preview-Base(295B-A21B), MiMo-V2.5-Base(310B-A15B)와 비교했다. 추론, 코드, 긴 문맥 과제에서 비슷한 크기의 공개 파운데이션 모델과 경쟁하는 수준이라는 것이 회사 설명이다. 모델 카드의 코드 항목에는 HumanEval+ 82.3, MBPP+ 81.5, LiveCodeBench 40.1 등이 실렸다. 다만 표의 열 구분이 자료에서 온전히 확인되지 않아 모델별 대응은 단정하지 않는다. 이 수치는 모두 Baidu가 직접 발표한 것이다.1,2
서빙은 SGLang과 vLLM을 지원한다. SGLang은 공식 Docker 이미지를 쓰고, vLLM은 vLLM 0.32.0에 ERNIE 5.5 플러그인을 설치해 실행한다. 두 서버 모두 최대 1,048,576 토큰 문맥을 받는다. 베이스 모델이라 채팅이 아닌 completions 엔드포인트로 요청한다.
사후 학습을 하지 않은 체크포인트이므로 바로 대화형 서비스에 쓰기보다 미세 조정이나 강화학습 연구의 출발점으로 쓰는 쪽이 맞다. Baidu도 도메인별로 필요한 데이터와 학습 목표, 행동 정책이 다르다는 이유로 사전 학습 끝 시점의 가중치를 공개했다고 설명했다.2