언어 모델 사전 학습 데이터에서 영역별 비중을 정하는 새 방법 LinMix가 arXiv에 공개됐다(2026-10-27 게재). 연구진은 영역마다 한도에 닿거나 아예 빠지는 극단적 조합으로 소형 대리 모델을 학습시키고, 그 결과에 선형 모델을 맞춰 영역별 기여도를 구한다. 이 방식이 기존 Dirichlet 표본 추출 기반 혼합법보다 벤치마크 성적이 좋았다고 밝혔다.
실험은 10억 매개변수 규모의 OLMo2와 40억 매개변수 규모의 Qwen3.5 언어 모델을 사전 학습하는 방식으로 했다. 연구진에 따르면 LinMix는 추론, 코드, 수학 벤치마크 전반에서 Dirichlet 기반 혼합법을 앞섰고, 상대 개선폭은 MBPP에서 46%, GSM8K에서 14%였다. 세분화한 288개 영역에서는 꼭짓점 표본 추출만 선형 모델을 맞출 수 있었으며, 이때 LinMix는 가장 좋은 비선형 기준 방법보다 벤치마크 정확도가 평균 11% 높았다고 한다.
작동 방식
널리 쓰이는 데이터 혼합법은 무작위로 섞은 데이터로 작은 대리 모델을 여러 개 학습한 뒤, 혼합 비율에서 성능을 예측하는 회귀 모델을 맞춰 영역 가중치를 고른다. 연구진은 이 과정을 영역 기여도 추정 문제로 보았다. 회귀 계수가 각 영역이 목표 지표에 얼마나 기여하는지를 재기 때문이다.
이 관점에서 보면 대리 혼합을 Dirichlet 분포로 뽑는 표준 방식은 회귀 설계가 나쁘다. 연구진은 이 방식이 조정을 요구하고, 영역이 수백 개로 늘면 선형 적합 자체를 지원하지 못한다고 지적했다. 또 Dirichlet 표본이 기존 데이터 혼합 주변에 몰리면 기여도 추정 오차가 커진다는 점을 증명했다고 밝혔다.
LinMix는 고전적인 최적 실험 설계를 바탕으로, 상한을 둔 단체(capped simplex)의 꼭짓점에서 혼합을 뽑는다. 꼭짓점에서는 각 영역이 상한에 있거나 아예 빠진다. 하이퍼파라미터가 필요 없는 이 추출법은 영역 간 효과의 상관을 없애므로, 계수가 곧 영역 기여도인 해석 가능한 선형 모델을 쓸 수 있다. 연구진은 꼭짓점 추출이 최적임을 보였다고 밝혔다.
LinMix가 내놓는 최적 혼합은 기여도가 양수인 영역만 남기며, 후보 혼합을 따로 탐색할 필요도 없다고 연구진은 증명했다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.