연구진이 구분 토큰(separator token)을 추론 내용의 압축 기준점으로 쓰는 암묵적 추론 기법 Sep-Latent를 제안했다. 논문은 2026년 10월 16일 arXiv에 공개됐다. Sep-Latent는 질문의 복잡도에 따라 잠재 사고 단계를 적응적으로 끝내는 방식이라, 연구진이 밝힌 평균 5.4개 토큰은 질문마다 달라지는 사용량의 평균값이다. 이 조건에서 GSM8k-Aug 벤치마크 정확도는 56.8%였다.
연구진은 명시적 사고의 연쇄가 복잡한 추론에서 성과를 냈지만, 계산량이 많고 토큰이 길어지는 점이 효율의 걸림돌이라고 지적했다. 연속 잠재 공간에서 추론하는 암묵적 방식이 대안이지만, Coconut과 CODI 같은 기존 방법은 잠재 시퀀스 길이가 고정돼 있고 표현이 한곳으로 쏠리는 붕괴 문제를 겪는다고 설명했다.
Sep-Latent는 구분 토큰을 구조적 의미 기준점으로 삼는다. 학습 중 어텐션 감쇠(Attention-Decay) 장치를 넣어, 모델이 추론 논리를 이 기준점에 모아 압축하도록 강제한다. 이어 모든 층에 걸친 다수준(multi-level) 지식 증류로 명시적 경로와 암묵적 경로를 정렬해 논리의 일관성을 확보한다.
추론 깊이는 질문에 따라 동적으로 조절된다. 연구진은 고정 길이 암묵적 모델보다 효율이 크게 앞서고 명시적 사고의 연쇄와의 성능 격차도 좁혔다고 주장했다. 주성분 분석(PCA)과 기호 변형 실험에서는 의미적 근거(grounding)가 유지되고 교란에도 더 견고했다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.