비드래프트 다윈-180B 공개, 슈퍼클루 수학·과학 추론 2위 주장

국내 스타트업 비드래프트(VIDRAFT)가 스스로 문제를 만들고 풀며 추론 능력을 높이는 자기개선형 모델 '다윈-180B-RSI-R3'(Darwin-180B-RSI-R3)를 Hugging Face에 공개했다. 모델 가중치를 내려받아 상업적으로 쓸 수 있고, 비드래프트는 11월 6일 중국 평가기관 슈퍼클루(SuperCLUE)의 2026년 11월 수학·과학 추론 평가에서 이 모델이 2위에 올랐다고 발표했다.

라이선스는 Qwen Community License 1.0이다. 4비트 GGUF 버전인 '포켓 다윈'(POCKET-Darwin-180B)은 용량이 111GB이고, 8GB GPU와 32GB 메모리를 갖춘 노트북, CPU만 쓰는 환경(초당 18~21토큰), 128GB 미니PC, DGX Spark 1대에서 돌아간다. 비드래프트가 측정한 포켓 다윈의 MMLU-Pro 점수는 87.65%로, BF16 원본과 같다.^1,2

사람 정답 없이 스스로 학습

재귀적 자기 개선(RSI) 방식은 모델이 문제를 만들어 풀고 검증하는 과정을 되풀이하며 추론 관련 가중치를 고친다. 사람이 만든 정답이나 추론 과정 데이터는 쓰지 않는다. 풀이가 정답 키나 실행 검사를 통과하면 그 추론으로 다시 학습하는 순환이며, 1차가 R1(Darwin-180B-RSI), 이번 R3가 2차다.^1,2

R3는 R1에서 이어 학습했고 검증된 자기 풀이만 사용했다. R1 학습에 쓰지 않은 SuperGPQA 중·상 난이도 3,000문항을 문항당 8회 풀게 했고, R1이 8회 중 2~6회 맞힌 경계 문항 462개를 골랐다. 문항당 정답 풀이는 최대 2개로 총 714개다. 어텐션 경로와 공유 전문가만 LoRA로 학습해 병합했으며, 라우팅 전문가 512개, 라우터, 비전 인코더는 건드리지 않았다.

비드래프트는 GPQA Diamond와 보류 세트를 학습과 선택에 쓰지 않았고, 연습 문제는 평가셋과 8-gram 중복 필터를 거쳤다고 밝혔다.²

기반 모델은 Alibaba의 Qwen3.8-Flash-Next로, 1,800억 매개변수 전문가 혼합 비전-언어 구조다. 이미지와 텍스트를 입력받고 한국어와 영어를 지원하며 컨텍스트는 262,144토큰이다. 48개 층은 선형 어텐션 36개와 풀 어텐션 12개로 구성되고, 토큰마다 라우팅 전문가 512개 중 10개와 공유 전문가가 활성화된다. 비드래프트는 추론 때 약 30억 매개변수가 활성화된다고 밝혔다.^1,2

슈퍼클루 점수와 한계

슈퍼클루는 중국어 기반 LLM 평가기관으로, 에이전트 코딩, 수학·과학 추론, 환각 억제, 정밀 지시 이행, 긴 문맥 처리 5개 영역을 잰다. 이번 평가에는 미국과 중국 주요 모델 19개가 참가했고 국내 모델은 다윈뿐이다. 다윈의 수학·과학 추론 점수는 73.68점이며, 오픈웨이트 모델 중에서는 가장 높다고 비드래프트는 발표했다.¹

비드래프트는 SpaceXSI의 주요 모델도 앞섰다고 강조했다. 기반 모델인 Qwen3.8 Flash는 수학·과학 추론 57.89점에서 다윈 73.68점으로 15.79점 올랐고, 5개 영역 종합은 39.81점에서 43.08점이 됐다. 비드래프트는 MMLU-Pro 성능이 좋아지고 답변에 필요한 추론 길이가 11% 줄었다고 설명했다.

종합 점수 43.08은 전체 9위, 오픈웨이트 5위다. 긴 문맥 처리와 지시 이행 등 다른 영역은 경쟁 모델에 못 미친다. 또 '세계 2위'는 수학·과학 추론 한 영역의 점수만 비교한 결과이며, 슈퍼클루는 일부 모델을 공식 순위에서 빼고 참고용으로 제시했다. 세부 결과는 슈퍼클루 공식 홈페이지에서 볼 수 있다.¹

Hugging Face 평가와 주의점

R3는 Hugging Face 리더보드 ExtractBench(370문서)에서 90.29점으로 1위이며, 부모 모델 Qwen3.8-Flash-Next의 89.88을 앞섰다. 사고 모드를 끄고 1회 실행한 결과다. EvasionBench(16,726문항)는 77.83점으로 3위다. SuperGPQA 보류 1,000문항(4샘플, 사고 예산 16K)에서는 R1 대비 평균 +1.03점 올랐지만 95% 신뢰구간이 [+0.05, +2.00]이어서 하한으로 보면 개선 폭은 0.05점에 그친다. 비드래프트는 이를 2차 RSI의 측정 가능한 개선이라고 설명한다.²

비드래프트가 11월 3일 Hugging Face 평가로 공개한 GPQA Diamond 94.44점은 다윈 계열 기록으로 소개됐지만, 모델 카드는 R1의 점수로 표기했다. 198문항의 박사 수준 물리·화학·생물 추론 평가다. R1이 Hugging Face 공식 벤치마크 리더보드에서 1위인 항목은 9개로, GPQA Diamond 94.44, MMLU-Pro 88.12, AIME 2026 100.0(maj@16, 16회 평균 98.75), HMMT Feb 2026(16회 평균 96.59), MMMU-Pro 79.48, LEXam 68.94, LEXam-hard 45.72, IFStruct 98.95, MDPBench 83.65다. 여기에 R3의 ExtractBench 1위를 더하면 다윈 계열 합계 1위는 10개다.^1,2

모델 카드의 중국 오픈웨이트 비교표에는 Kimi-K2.6 90.5, DeepSeek-V4-Pro 90.1, GLM-5 등의 수치가 R1과 나란히 실려 있다. 이 수치는 각사가 직접 보고한 것이고 설정이 서로 다르며 폐쇄형 API 모델은 빠졌다. 다수결(maj) 점수는 시스템 점수이고, 샘플 수·투표·사고 예산도 비교 모델과 다르다.

비드래프트는 어려운 문제에서는 추론이 매우 길어지는 것이 정상이고, 사고 예산이 짧으면 답이 잘려 정확도가 떨어진다고 고지했다. 확신에 찬 오답도 나올 수 있다. 현재 제공되는 정답 확률 프로브 ZTC(Zero-Token Confidence)는 생성 전 내부 상태로 확률을 내며 R1 기준이고, R3용은 추후 추가할 예정이다.²

서빙과 개발사

원본을 서빙하려면 vLLM에 8×B200급 GPU를 쓰는 구성을 권장한다. tensor parallel 8과 expert parallel을 켜고 max-model-len은 139,264로 두며, BF16 용량은 약 336GB다.²

비드래프트는 김민식 대표가 이끄는 국내 스타트업으로, 지난해 9월 과학기술정보통신부 산하 NIPA의 GPU 임차지원 과제에 선정됐다. 모델 카드에는 FINAL-Bench와 함께 평가했다는 표기가 있다. 회사는 다윈 계열 공개 모델의 Hugging Face 누적 다운로드가 468만회를 넘었다고 밝혔으며, 공식 모델 50여 개와 커뮤니티 파생 모델 400여 개가 있다.^1,2

모델 카드는 모델 수준 RSI(가중치 개선)와 하네스 수준 RSI(프롬프트·도구·워크플로 개선, 예로 Google의 RRSI)를 서로 보완하는 관계로 설명한다.²