PLRM 제안, 잠재 공간에서 여러 추론 경로를 병렬 학습

연구진이 언어 모델의 추론 과정을 연속적인 잠재 공간으로 옮겨 여러 추론 경로를 확률 분포로 다루는 방법 PLRM(Probabilistic Latent Reasoning Models)을 제안했다. 2026년 10월 21일 arXiv에 공개된 논문에서다. PLRM은 학습 때 순차 예측 없이 병렬로 처리할 수 있는 변분 프레임워크라고 연구진은 설명했다.

연구진은 여러 벤치마크에서 PLRM이 경로가 하나뿐인 데이터셋에서는 결정적 잠재 추론 모델에 견줄 만한 성능을 내면서 효율적인 학습도 가능하다고 밝혔다. 경로가 여러 개인 데이터셋에서는 경쟁하는 확률적 기법을 꾸준히 앞섰다고 한다.

기존 방식의 한계

말로 풀어 쓰는 사고의 연쇄 방식은 토큰을 하나씩 생성해야 한다. 연구진에 따르면 이 토큰 중 상당수는 핵심 추론이 아니라 문장의 자연스러움을 위한 것이어서, 논리 경로의 실제 차이와 표현상의 차이가 뒤섞인다.

추론을 잠재 공간으로 옮기는 접근은 이미 있지만, 연구진은 현재의 잠재 모델 대부분이 결정적이라고 지적했다. 유효한 여러 경로의 분포를 모델링하지 못하고 하나만 포착한다는 것이다. 잠재 추론 단계에 분포를 두는 확률적 접근도 있으나 최적화가 불안정하고 성능이 제한적이었으며, 학습 중 자기회귀 방식의 잠재 예측에 의존해 효과적인 병렬화가 불가능하고 학습 시간이 과도하게 길어졌다고 한다.

PLRM의 구조

PLRM은 JEPA 방식의 목적 함수를 채택했다. 사후 분포(posterior)는 관찰된 추론 경로에서 잠재 분포를 병렬로 추정하고, 사전 분포(prior)는 티처 포싱으로 다음 잠재 분포를 예측하도록 학습한다.

서로 다른 추론 과정을 다루기 위해 이산적인 전략 변수와 혼합 기반 사전 분포도 넣었다. 여러 경로가 만드는 가우시안 혼합 구조를 하나의 가우시안으로 뭉개지 않고 유지하기 위해서다.