SpatialBrain, 모델 고정한 채 경험으로 공간 추론 향상, 벤치마크 5개 중 4개 개선

SpatialBrain은 비전-언어 모델의 가중치를 고정한 채 공간 추론에 관한 경험을 쌓아 쓰는 프레임워크다. 2026년 10월 21일 arXiv에 논문이 올라왔다. 공간 추론 벤치마크 5개에서 같은 모델이 바로 내놓은 답보다 4개에서 나아졌고, 나머지 1개는 같았다.

논문은 공간 지능에 기하 도구를 쓸 수 있는 것만으로는 부족하다고 본다. 눈으로 본 정보로 충분한 경우와 장면을 다시 복원하거나 길이를 재거나 기준 좌표계를 바꿔야 하는 경우를 가려내는 판단이 필요하다는 것이다. 연구진은 장면에 대한 증거와 그 증거로 어떻게 추론할지에 대한 경험을 구분한다.

구성 요소와 경험이 쌓이는 방식

프레임워크는 세 부분으로 이뤄진다. 3DFusionMemory는 현재 장면의 관찰을 합쳐 질의할 수 있는 공간 관계로 만든다. Spatial Skill Library는 재사용할 수 있는 도구 사용 절차를 제공하고, Spatial Cognition은 과제 조건을 메모리와 기술을 언제 어떻게 쓸지에 관한 경험과 연결한다.

끝난 수행 과정은 요약된 과정 기록으로 바뀌고, 과제 묶음 사이에 정리된다. 이후 판단은 앞선 수행에서 얻은 경험을 참고하지만, 장면 좌표나 정답 자체는 넘어가지 않는다.

연구진은 구성 요소별 비교, 경험 범위에 따른 곡선, 자원 선택을 추적한 결과로 프레임워크가 자원을 쌓고 쓰는 방식을 분석했다고 밝혔다.