webAI가 IBM의 Granite 4.2 8B를 사후 학습해 만든 추론 모델 TwIL-8B의 가중치를 Hugging Face에 공개했다. 수학, 코드, 지시 따르기를 겨냥한 8.79B 매개변수 모델이며, 라이선스는 비상업 용도로 제한된다.
전체 가중치는 bf16 기준 16.38 GiB이고, llama.cpp용 Q4_K_M GGUF 빌드는 4.98 GiB여서 CPU나 VRAM이 넉넉하지 않은 GPU에서도 돌릴 수 있다. 컨텍스트 길이는 기반 모델에서 이어받은 131,072 토큰이다. 입력과 출력은 영어 텍스트만 다룬다. Hugging Face에서 이 모델을 제공하는 호스팅 추론 업체는 아직 없다.1,2
라이선스는 webAI Non-Commercial License 1.0이다. 기반 모델 Granite 4.2 8B는 IBM의 Apache 2.0 라이선스이며, 저장소는 두 라이선스 파일을 함께 싣고 있다.2
벤치마크 성적
webAI가 모델 카드에 밝힌 TwIL-8B의 벤치마크 점수는 모두 사고 모드를 켠 자체 측정 pass@1이다. 점수는 balanced 변형 기준이지만, †로 표시한 LiveCodeBench, IFBench, MMLU-Pro, HLE 등은 verbose 변형으로 측정했고 balanced로는 아직 돌리지 않았다. MATH-500은 98.2점으로, 비교 대상 중 Qwen3.5-9B(96.6점)와 Gemma 4 31B(87.9점)보다 높다. AIME 2025는 88.3점으로 Gemma 4 31B의 87.1점을 앞선다. AIME 2026은 88.3점으로 Qwen3.5-9B(92.5점), Gemma 4 31B(89.2점)에 못 미친다.1,2
LiveCodeBench는 81.6점으로 Gemma 4 31B(80.0점), Gemma 4 12B(72.0점), Qwen3.5-9B(65.6점)보다 높다. IFBench는 74.4점으로 Qwen3.5-9B보다 9.9점 높고, IFEval은 91.8점으로 Qwen3.5-9B(91.5점)와 비슷하다. 경쟁 모델 점수는 공개된 수치를 옮겼으며 webAI가 다시 돌리지 않았다.2
지식 중심 평가는 약하다. GPQA Diamond는 70.2점으로 Qwen3.5-9B(81.7점)보다 11.5점, Gemma 4 31B(84.3점)보다 14.1점 낮다. MMLU-Pro는 76.5점으로 Qwen3.5-9B(82.5점)에 뒤진다. 공통 벤치마크 기준으로 Qwen3.5-9B와는 13개에서 7승 6패, 약 3.5배 큰 Gemma 4 31B와는 14개에서 3승 11패다.1,2
| 벤치마크 | TwIL-8B | Qwen3.5-9B | Gemma 4 12B | Gemma 4 31B |
|---|---|---|---|---|
| MATH-500 | 98.2 | 96.6 | 공개 수치 없음 | 87.9 |
| AIME 2026 | 88.3 | 92.5 | 77.5 | 89.2 |
| LiveCodeBench | 81.6 | 65.6 | 72.0 | 80.0 |
| GPQA Diamond | 70.2 | 81.7 | 78.8 | 84.3 |
| MMLU-Pro | 76.5 | 82.5 | 77.2 | 85.2 |
GPT-5.5, Claude Opus 4.8, Grok 4.3과 비교하면 LiveCodeBench에서 2.9~6.2점 차이다. IFBench는 Claude Opus 4.8보다 12.2점 높지만 GPT-5.5보다는 1.5점 뒤진다. 대회 수학은 최고 프런티어 점수의 88~90% 수준이고, 가장 어려운 HMMT Feb 2026만 69%다. GPQA Diamond는 약 20~23점, Humanity’s Last Exam은 25~36점 뒤진다. webAI는 이런 지식형 평가가 추론 중심 학습보다 매개변수 수에 더 비례하는 경향이 있다고 설명했다.2
토큰 사용량과 학습 방식
AIME 2026 문제당 출력 토큰은 평균 약 19.5k로, Qwen3.5-9B(31.2k)보다 38% 적다. HMMT Feb 2026은 32.9k 대 40.6k로 19% 적다. 대신 점수는 각각 4.2점, 3.0점 낮다. Claude Opus 4.8은 AIME 2026에서 21.0k 토큰을 쓰므로 TwIL-8B가 더 적게 쓰지만 정확도는 낮다. GPT-5.5는 같은 문제에 약 5k 토큰을 쓰는데, TwIL-8B는 그 약 4배를 쓴다. webAI는 하네스와 토크나이저가 달라 방향만 참고하라고 밝혔다.
학습은 세 단계다. 수학, STEM, 지시 따르기 추론 흔적으로 전체 매개변수를 지도 미세 조정하고, GRPO/DAPO 강화 학습으로 verbose 변형을 만든다. 이어 짧은 추론에 보상을 주는 길이 인식 강화 학습으로 balanced 변형을 만든다. 학습 데이터는 AIME, HMMT, MATH-500, GPQA Diamond 등과 13-gram 일치로 오염을 제거했다. 두 변형 모두 LoRA 어댑터가 아닌 병합된 전체 모델이다.1,2
사용법과 한계
기본값인 balanced는 추론 흔적이 짧고, verbose는 더 길게 추론해 어려운 대회형 문제에 맞춘다. from_pretrained로 불러오면 balanced가 올라오고 subfolder="verbose"를 주면 verbose가 올라온다. 채팅 템플릿은 기본으로 think 블록을 열기 때문에 생성 예산을 크게 잡아야 하며, 모델 카드 예시는 max_new_tokens=32768이다. 예산이 짧으면 추론이 잘려 점수가 크게 떨어진다. Q8_0과 F16 GGUF는 verbose만 있다. 점수는 bf16 가중치로 쟀으므로 Q4_K_M에서는 약간 차이가 날 수 있다.1,2
webAI가 밝힌 한계도 있다. 별표(†) 항목은 balanced로 아직 측정하지 않았다. SWE-bench, 도구 사용, 에이전트 과제는 평가하지 않았다. AIME와 HMMT는 문제가 30~33개라 한 문제가 약 3점이어서 그 정도 차이는 오차 범위다. LiveCodeBench는 TwIL-8B의 버전과 기간이 기록되지 않았고 경쟁 모델은 v6다. HMMT Nov 2025와 HumanEval, MBPP, CRUXEval은 오염 제거 대상에서 빠졌다. Gemma 4 31B의 MATH-500과 AIME 2025 점수는 Red Hat이 lighteval로 돌린 값인데, webAI는 MATH-500 87.9점이 유난히 낮아 답 추출 문제가 반영됐을 수 있다고 적었다. 모델은 Granite 4.2에 있는 것 외에 안전성이나 선호도 학습을 더하지 않았다.2
출처
- webAI Releases TwIL-8B, an 8.8B Reasoning Model Scoring 98.2 on MATH-500 marktechpost.com
- webAI-Official/TwIL-8B · Hugging Face huggingface.co