소형 모델 여럿이 초안 쓰는 추론 기법, 단일 초안 모델 한계 보완

대규모 언어모델(LLM)의 추론 시간 확장 알고리즘인 Guided Speculative Inference(GSI)를, 소형 모델 여러 개가 초안을 내는 환경으로 넓힌 연구 논문이 2026년 10월 23일 arXiv에 올라왔다. 소형 모델 앙상블이 초안 모델 역할로 추론 단계를 제안하면, 더 큰 기반 모델과 과정 보상 모델이 이를 검증하는 구조다.

연구진은 잘 조정한 단일 초안 모델을 쓰는 GSI와 비교해, 총 샘플 수를 같게 유지하면서 서로 다른 여러 LLM을 합쳐도 pass-at-N 성능이 경쟁력을 유지한다고 밝혔다.

여러 제안 분포에서 나온 샘플을 합치기 위해 연구진은 다중 중요도 샘플링(MIS)이라는 기존 틀을 이용해 가중치 방식을 제시했다. 최적의 보상 기울임 목표 분포를 기준으로 한 KL 발산과 기대 보상 저하에 대해서는 새로운 한계를 제시했고, 이어 널리 알려진 균형 휴리스틱이 최적임을 보였다고 밝혔다.

연구진은 서로 다른 여러 LLM을 합친 앙상블이, 단일 초안 모델의 지지집합이 목표 분포의 지지집합을 덮지 못하는 상황에서도 수학적으로 견고하다고 밝혔다. 이런 상황은 단일 초안 모델을 쓰는 GSI가 실패할 수 있는 경우다.