래블업, 한국어 추론 가속 드래프트 모델 GLM-5.2-NVFP4-DFlash-ko 공개

래블업이 'GLM-5.2-NVFP4-DFlash-ko'라는 이름의 드래프트 모델을 오픈소스로 공개했다. 드래프트 모델은 큰 모델이 답을 내놓기 전에 토큰을 미리 예측해 주는 작은 모델로, 이 모델은 한국어 대규모 언어 모델의 응답 시간을 줄이는 용도다. Hugging Face 모델저장소에서 받을 수 있다. 래블업은 10월 9일 한글날에 모델을 공개했고 12일 모델 공개를 발표했다.

GLM-5.2-NVFP4-DFlash-ko는 중국 Z.ai의 GLM-5.2를 NVIDIA의 NVFP4 형식(4비트 부동소수점)으로 돌릴 때 쓰는 모델이다. 이 드래프트 모델을 함께 쓰면 한국어로 묻고 답하는 작업과 한국어 기반 에이전트 작업의 추론이 빨라진다.

기존 영어 기반 드래프트 모델은 한국어 작업에서 속도 향상 폭이 줄어드는 문제가 있었다. 래블업은 한국어 데이터로 다시 학습시켜 드래프트가 다음 내용을 맞히는 비율을 높였다. 한국어 에이전트 트래픽에서 측정한 한국어 질의 기준 평균 수락 길이, 곧 큰 모델이 한 번에 받아들이는 드래프트 토큰의 평균 개수는 2.77이었다.

적용한 기법은 연구 조직 z-lab이 내놓은 DFlash다. 작은 드래프트 모델이 토큰을 여러 개 먼저 예측하면 큰 모델이 그 묶음을 한 번에 검증한다. 최종 답변 품질은 그대로 두고 생성 속도만 끌어올리는 방식이다.

신정규 대표는 한국어 환경의 개발자와 기업도 속도 이득을 누리게 하려고 한글날에 맞춰 내놓았다고 말했다. AI 인프라 소프트웨어를 개발해 온 경험에서 출발해 한국어 모델 개발로 사업 범위를 넓히고 있다고 밝혔다.

래블업은 약 110억 매개변수 규모의 한국어 디퓨전 언어 모델도 개발 중이다. 사용자 기기 안에서 에이전트 작업을 처리하는 온디바이스 모델이 목표이며, B200 GPU 64장으로 꾸린 클러스터에서 학습한다.

회사는 코스닥 상장도 추진한다. 최근 금융위원회로 증권신고서를 제출했고, 공모 주식은 총 218만주, 희망 공모가 범위는 2만원~2만3000원이다. 기관투자자 대상 수요예측은 10월 13일부터 19일까지 진행할 예정이다.