Hugging Face, DNA 읽는 오픈 모델 Carbon-X 공개, 평균 66.7%

Hugging Face의 생물학 팀 HuggingFaceBio가 DNA 서열과 자연어를 함께 다루는 공개 가중치 모델 Carbon-X를 내놓았다. 매개변수는 14.8B이고, 모델 카드는 2026년 10월 22일자로 올라와 있다. 사용자가 채팅 대화에 DNA 염기서열을 그대로 넣으면 모델이 영어로 답한다. 돌연변이가 양성인지 병원성인지 예측하고, 유전자 활동을 조절하는 영역을 찾고, 서열이 속한 생물 집단을 분류하고, 다음 염기를 예측하며, 판단 근거도 설명한다.^1,2

라이선스는 Apache 2.0이다. 가중치는 bfloat16 기준으로 80GB GPU 한 장에 들어가서, 연구자가 민감하거나 미공개인 서열을 자기 인프라 밖으로 내보내지 않고 쓸 수 있다고 Hugging Face는 밝혔다. 개발에는 Hugging Face와 Zhongguancun Academy, Telethon Institute of Genetics and Medicine 및 나폴리 페데리코 2세 대학이 참여했다.^1,2

DNA와 텍스트를 한 줄로 읽는 구조

Carbon-X는 디코더 하나만 쓰는 모델이다. DNA와 텍스트가 하나의 토큰 흐름을 공유하고, DNA만 따로 처리하는 인코더는 없다. 이 점이 별도 DNA 인코더를 둔 BioReason 같은 이전 연구와 다르다.^1,2

토크나이저는 텍스트에 바이트 페어 인코딩 어휘를, DNA에는 겹치지 않는 6염기 단위(6-mer)를 쓴다. DNA 토큰 하나가 염기 6개를 담는다. Qwen3의 어휘에 DNA 토큰 5,515개를 더했는데, 4,096개는 6-mer이고 1,364개는 길이가 6의 배수가 아닌 서열의 끝부분용 토큰이며 나머지 3개는 DNA 구간의 시작과 끝, 미등록 문자를 나타내는 표지다. 프롬프트에서 A, C, G, T가 6개 이상 이어진 구간은 자동으로 DNA 태그가 붙고, N 같은 IUPAC 모호 코드를 최대 20%까지 포함한 12염기 이상 구간도 마찬가지로 태그된다. N처럼 다른 문자가 섞인 6-mer는 미등록 문자 표지 토큰 하나로 처리된다.²

뼈대는 Qwen3-14B이며, 40개 층, 은닉 크기 5120, 쿼리 헤드 40개와 KV 헤드 8개의 그룹 쿼리 어텐션을 쓴다. 컨텍스트 창은 40,960토큰이다. 전문가 혼합 구조가 아닌 밀집 모델이다.^1,2

학습 과정

먼저 Qwen3-14B 어휘에 DNA 토큰을 무작위로 초기화해 붙이고, 트랜스포머 본체를 얼린 채 약 100억 토큰 동안 새 DNA 임베딩만 학습시켰다. 이어 전체 모델을 3,020억 토큰으로 중간 학습했다. 시퀀스 길이는 8,192, 전역 배치는 512시퀀스, 72,000스텝이며 학습률은 5e-5에서 5e-6으로 줄였다.²

데이터 구성은 DNA 55%, 영어 20%, 생물학 텍스트 15%, 지시 데이터 10%다. 팀은 이 단계에서 학습률이 가장 큰 변수였다고 밝혔다. 낮으면 영어는 유지되지만 DNA 성능이 무작위 수준에 머물고, 높으면 DNA는 배우되 영어를 잊었다.

지도 미세 조정은 20개 데이터셋 조각을 3 에포크 돌렸고, 변이 효과 추론이 혼합의 약 30%를 차지한다. 이후 검증 가능한 보상을 쓰는 강화 학습을 두 차례 했다. 보상은 코드로 채점하는 과제별 검증기가 주며, 변이 효과 예측에서는 근거 없는 설명에 감점을 준다. 첫 단계는 프롬프트 98,433개로 150스텝, 두 번째는 58,249개로 진행했다. Hugging Face는 Qwen3-14B에 강화 학습을 바로 적용했을 때는 FrontierVEP에서 무작위 기준인 50%를 넘지 못했다고 밝혔다.^1,2

성능과 비용

변이 효과 예측, 서열 이해, 다음 염기 예측을 다루는 5개 DNA 벤치마크에서 Carbon-X는 추론 모드를 끈 채 평균 66.7%를 기록했다. 출발점인 Qwen3-14B보다 27점 높고, 평가한 다른 공개 모델보다 앞선다. 다만 GPT-6.1 Sol의 67.5%보다는 0.8점 낮다. 점수는 모두 Hugging Face가 직접 측정했다. 비교 모델은 각각 평균 점수가 가장 높은 추론 강도로 실행했고, Carbon-X는 문제당 샘플 하나, 기본 샘플링 설정으로 평가했다.^1,2

Carbon-X는 코딩 영역 변이 효과(BioReason Coding)와 다음 염기 예측(NextBase)에서 평가한 모든 모델을 앞섰다. 복잡한 변이와 단일 염기 변이에서는 최상위 상용 모델이 더 높다.^1,2

MarkTechPost는 추론 강도를 높이면 일부 모델의 점수가 거부 응답 때문에 내려간다고 전했다. NextBase에서 Opus 5.5는 낮은 추론 강도의 17.7%에서 최대 강도의 1.1%로 떨어졌고, Gemini 4 Argon은 FrontierVEP에서 58%에서 38%로 내려갔다.¹

Carbon-X는 추론 모델처럼 길게 생각하지 않고 바로 답해서 출력 토큰이 적다. Hugging Face는 문제당 추론 비용이 GPT-6.1 Sol의 약 1/1,800이라고 추산했다. 비교 모델의 비용은 표준 API 가격을 기준으로 했고, Carbon-X는 H200 한 시간 5달러에 실측 처리량을 적용해 계산했다. ClinVar의 의미 불명확 변이 240만 개를 분석하면 Carbon-X는 약 300달러가 들지만, 평가한 상용 최전선 모델은 3만 2,000달러에서 400만 달러가 든다고 추정했다. 일반 지시 수행 능력도 유지해서 IFEval 프롬프트 수준 엄격 정확도가 79.3%, 네 지표 평균은 84.0%다.^1,2

Carbon-X를 하위 에이전트로 호출하면 다른 모델의 DNA 점수도 오른다. Kimi K3의 DNA 지수는 Carbon-X에 물어봤을 때 49.4%에서 60.5%로 올랐다고 매체는 전했다.¹

설치와 사용

Transformers v5 이상에서 불러올 수 있고, DNA 토크나이저가 사용자 지정 코드이므로 토크나이저를 로드할 때 trust_remote_code=True를 줘야 한다. vLLM으로는 vllm serve HuggingFaceBio/Carbon-X --trust-remote-code 명령으로 서버를 띄운다. 사후 학습과 평가를 모두 enable_thinking=False로 했으므로 이 설정을 유지하라고 권한다. 샘플링 기본값은 샘플링 온도 0.6, Top-p 0.95, Top-k 20이고 보고된 결과도 이 값으로 냈다.²

Claude Code와 Codex CLI용 carbon-dna 스킬도 저장소에 들어 있다. 스킬 스크립트는 파이썬 표준 라이브러리만 쓰며, 이름 붙은 DNA 파일에 질문하는 ask와 길이가 같은 변이를 서열 우도로 순위 매기는 compare 두 명령을 제공한다. 서버용으로는 약 80GB 메모리의 GPU와 vLLM이 필요하다. 이 밖에 OpenAI 방식 도구 예제와 Inspect 에이전트 예제가 있다. 범용 에이전트는 DNA 질문에 도구를 부르지 않고 직접 답하는 경우가 많아서, Carbon-X의 판단을 원하면 시스템 프롬프트에 명시해야 한다.

모델 카드는 llama.cpp와 GGUF 런타임을 지원하지 않는다고 적고 있다. DNA 토크나이저가 이들이 읽지 못하는 사용자 지정 파이썬 코드여서 DNA가 잘못 토큰화되기 때문이다. 반면 MarkTechPost는 공식 GGUF 저장소가 있다고 전했다. 이 보도에 따르면 Q8_0은 15.8GB, Q4_K_M은 9.6GB이며 llama.cpp b11742 이상이 필요하고 이전 빌드는 DNA를 잘못 토큰화한다.^1,2

한계

Carbon-X는 임상 검증을 거치지 않았고, 의료 판단에 쓰면 안 된다고 모델 카드는 명시한다. GenomeQA에서 스플라이스 부위 문항은 29.8%, 히스톤 표지 문항은 34.6%로 약하다. 짧은 DNA 연습 문제와 교과서 수준 생물학에서도 핵심 과제인 변이 효과와 서열 복원보다 신뢰도가 낮다.

서열 정보가 부족하면 서열의 정체나 기능을 지어낼 수 있으므로 유전자, 가닥, 좌표, 주석 같은 알려진 맥락을 프롬프트에 넣고 생물학적 주장은 따로 검증해야 한다. 긴 DNA를 생성하면 품질이 떨어진다. 이 모델은 기존 서열을 읽고 설명하도록 만들었고 새 서열 설계는 학습하지 않았다. 중간 학습은 8,192토큰(DNA 약 49kbp) 서열로, 사후 학습 예시는 16k 토큰 미만으로 했다. 입력은 40,960토큰까지 받지만 학습 때보다 훨씬 긴 입력은 평가하지 않았다고 Hugging Face는 밝혔다.²