추론 LLM이 정답을 낸 뒤에도 추론을 이어가며 계산을 낭비하는 문제를 줄이는 방법 BELT(BELief-based Termination)가 2026년 10월 21일 arXiv에 논문으로 올라왔다. 연구진은 분포 외(OOD, 학습 때 보지 못한 유형) 수학 벤치마크 5종 평균에서 정확도 손실 없이 생성 토큰이 Qwen3-1.7B는 41%, OLMo-3-7B-Think는 51% 줄었다고 밝혔다.
수학 데이터로만 학습한 BELT를 코딩과 에이전트 과제에 그대로 적용해도 코드나 에이전트 데이터 학습은 필요 없었다고 한다. 연구진은 수학, 코딩, 에이전트 세 영역 모두에서 정확도와 비용의 균형이 종단간 제어기와 대등하거나 더 낫다고 밝혔다.
작동 방식
추론 모델은 정답에 도달한 뒤에도 추론을 계속하다 맞힌 답을 틀린 답으로 바꾸기도 한다. 논문은 언제 멈출지를, 지금까지의 답을 근거로 추가 추론의 이득과 비용을 따지는 메타추론 문제로 본다.
기존 직접 효용 학습은 정해 둔 토큰 가격에 맞춰 종료 표현을 학습하므로, 가격을 바꾸려면 제어기를 추가로 학습해야 할 수 있다. BELT는 결과 예측과 종료 제어를 분리한다. 고정한 LLM의 은닉 상태에서 현재와 미래의 답에 대한 믿음을 학습하고, 이 고정 특징 위에 선형 종료 정책을 맞춘다.
예측 목표가 토큰 가격과 무관해서, 프로브 하나로 CPU에서 정책을 다시 맞추거나 임계값을 조정하는 것만으로 다른 정확도-비용 균형을 지원한다.
학습 비용
OLMo3 기준으로 BELT의 프로브는 가장 강한 비교 기법인 OS-Pruner의 체크포인트 하나보다 파라미터가 21.2배 적다. 학습에 드는 GPU 시간은 OS-Pruner의 가격별 체크포인트 5개를 합친 것보다 55배 적다고 연구진은 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.