DeepSeek가 자사 서비스에 쓰는 추론 엔진 DeepInfer를 Apache 2.0 라이선스로 공개했다. DeepSeek-V4.1-Flash를 실제 서비스하는 엔진이다. 토큰을 인코딩하고 디코딩하는 계층인 deepseek-recipe도 MIT 라이선스로 함께 배포했다.1
지원 모델은 DeepSeek-V4.1-Flash 하나이고, 모델 카드 기준 컨텍스트 창은 100만 토큰이다. 하드웨어는 NVIDIA SM100(Blackwell) GPU와 Huawei Ascend 950 NPU다. 지금 공개된 범위는 오프라인 추론이며, 온라인 서빙에 필요한 구성 요소는 빠져 있다.1,2
엔진 구성과 핵심 기법
DeepInfer는 처음에 vLLM을 중심으로 만들었고 SGLang과 TensorRT-LLM에서 아이디어를 더했다. 연산 커널로는 FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect와 직접 만든 TileLang 커널을 쓴다.2
병렬화는 어텐션 층에 데이터 병렬을, 전문가 혼합 층에 전문가 병렬과 부하 분산기(EPLB)를 적용한다. 디코딩은 슈퍼노드 안에서 EP64에서 EP128로, 프리필은 메모리가 허용하는 가장 작은 EP(보통 EP2에서 EP8)로 돌린다.1
DSpark는 신뢰도로 검증 대상을 고르는 추측 디코딩 방식이다. 초안 모델이 한 단계에 토큰 5개를 제안하면 Confidence Head가 각 토큰의 수락 확률을 예측하고, 스케줄러는 가장 가치 있는 앞부분만 검증한다. 배포 Q&A에 따르면 검증하는 초안 토큰은 5.00개에서 3.2~4.4개로 줄어 약 30% 감소하는 반면, 수락 길이는 3.29와 3.20으로 거의 같다. 최대 초안 길이 기본값은 5다.
SWA 제한 재계산은 캐시가 적중했을 때 슬라이딩 윈도 어텐션 상태 가운데 마지막 128토큰만 다시 계산한다. 재계산 비용이 컨텍스트 길이와 무관하게 일정해지며, DeepSeek는 디코더 층에서 전체 프리필 계산량이 거의 절반으로 줄어든다고 설명했다. V4.1 기본 설정은 140토큰을 남기는 것이다.
비동기 스케줄링은 CPU의 배치 스케줄링을 GPU 실행과 겹쳐 단계 사이 유휴 시간을 없앤다. 배치 불변 추론과 결정적 샘플링은 NVIDIA에서만 쓸 수 있다. 배치 불변 추론은 환경 변수 DEEPINFER_BATCH_INVARIANT=1로 켠다. 결정적 샘플링은 DEEPINFER_BATCH_INVARIANT=1과 함께 DEEPINFER_ENABLE_MTP_VARLEN=0을 설정하고, 고정 seq_seed를 SamplingParams에 넘겨야 한다. 반대로 DSpark 기능을 쓰려면 DEEPINFER_ENABLE_MTP_VARLEN=1로 두어야 하므로, DSpark와 결정적 샘플링은 이 변수 설정이 서로 충돌한다. 구조화 출력은 정규식, JSON Schema, EBNF 문법을 지원한다.1,2
성능과 제약
성능 수치는 DeepSeek가 공개한 곡선에서 읽은 자체 측정값이다. 컨텍스트 131,072토큰에서 프리필은 SM100 4장, 디코딩은 64장으로 쟀다. 디코딩은 EP64DP64, nextn=3, 수락률 75% 조건이다. 랭크당 요청 256개일 때 GPU당 초당 25,000토큰을 넘고 사용자당 속도는 100토큰/초 안팎이며, 요청 8개에서는 사용자당 300토큰/초를 넘는다.
프리필은 EP4DP4에 140토큰 제한 재계산 조건에서 랭크당 4,096토큰일 때 캐시되지 않은(non-cached) 토큰 기준으로 GPU당 초당 약 60,000토큰이고, 65,536토큰에서는 같은 기준으로 90,000에 가까우며 한 단계에 약 730ms가 걸린다. EP8과 EP64를 비교한 차트에서는 모든 배치 크기에서 EP64가 앞섰다. DSpark의 동적 검증은 랭크당 시퀀스 약 60개에서 처리량을 4~7% 높이지만, 16개에서는 5토큰 고정 검증보다 1.5% 느리다. 운영 규모로 DeepSeek는 클러스터 하나가 하루 155조 토큰을 처리하고, 한가한 시간대 가격 기준 GPU 시간당 매출이 38달러라고 밝혔다.1
| 항목 | DeepInfer | vLLM | SGLang | TensorRT-LLM |
|---|---|---|---|---|
| 관리 주체 | DeepSeek | vLLM 프로젝트 | SGLang 프로젝트 | NVIDIA |
| 라이선스 | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| 온라인 서빙 | 오프라인 추론만 | OpenAI 호환 서버 | 지원 | 지원 |
| 프리필·디코드 분리 | 이번 공개에 없음 | 지원(프리필·디코드·인코드 분리) | llm-d, Dynamo 등을 통해 지원 | 지원 |
완전한 서비스를 구성하려면 KV 캐시 시스템, VE/프리필/디코드 분리, 데이터 병렬 복제본 사이의 부하 분산이 더 필요하다. DeepSeek 팀은 이 부분이 내부 인프라와 강하게 묶여 있다고 설명했다.1,2
빌드에는 Linux, GCC 13 이상, Python 3.12, CUDA 13(NVIDIA) 또는 CANN 9.2(Ascend)가 필요하다. 효율적으로 돌리는 최소 운영 단위는 프리필 GPU 64장과 디코드 GPU 64장이다. 내부 FlashMLA 디코딩 커널은 공개 버전보다 5~10% 빠르며, 종단 간 차이는 5% 이하라고 DeepSeek는 밝혔다.1
기본 체크포인트는 deepseek-ai/DeepSeek-V4.1-Flash-1017로, 첫 실행 때 Hugging Face 캐시에 내려받는다. 로컬 사본은 환경 변수로 지정할 수 있다.2
지원 모델이 하나이고 최소 128장 규모를 전제하므로, 이번 공개는 일반 서비스 구축 도구보다 대규모 서빙 설계를 들여다보는 참고 구현에 가깝다는 것이 본지의 판단이다. 원문 매체는 이번 공개를 개발자에게 '프런티어 연구소의 실제 서빙 스택을 보기 드물게 들여다볼 기회'라고 평가했다. 커널과 병렬화, 추측 디코딩 스케줄링이 실제 서비스 코드로 공개된 만큼 다른 엔진에도 참고가 될 수 있다고 본다.1