연구진이 매개변수를 고정한 Qwen3.5-4B 위에서, 후보 출력을 유지하는 결정 모델(typed decision model)이 판단 중 필요할 때만 추론을 시작하고 중간에 끊도록 하는 방식을 제안했다. 논문은 2026년 10월 14일 arXiv에 올라왔다. ProofWriter, LogiQA 2.0, ARC-Challenge의 768개 문제에서 정확도는 추론 없이 바로 답을 읽는 방식의 70.96%에서 84.38%로 올랐다.
512토큰까지 추론을 끝낸 뒤 답을 읽는 방식과 비교하면 정확도가 7.29%포인트 높고, 평균 출력 작업량은 2.25% 많다. 1,024토큰 방식과 비교하면 전체 처리 시간이 46.30% 줄었고 정확도 차이는 -1.17포인트였다.
추론을 켜고 끄는 방식
연구진은 후보 답안을 읽는 공용 리더를 학습시켜, 바로 내리는 판단과 중간에 멈출 수 있는 추론을 하나로 묶었다. 이 리더는 추론이 비어 있거나 일부만 진행된 상태에서도 후보 답안의 확률 분포를 내놓는다.
제어 장치는 세 가지다. 이득 게이트는 추론을 시작하고, 자연 상태 트리거는 명시적으로 답을 읽도록 요청한다. 엔트로피 규칙은 얻은 답을 수락하고 생성을 취소한다. 연구진은 답안 질의 작업량, 생성 출력량, 파이프라인 시간을 따로 측정했다.
절감 효과의 출처를 가리는 대조 실험도 했다. 같은 접두부를 쓰는 대조군으로 중단 자체가 낳는 절감분을 분리했고, 읽기 일정 대조군으로 관찰 작업이 줄어든 효과와 응답 시간이 짧아진 효과를 구분했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.