긴 문맥 모델은 정답이 담긴 근거가 프롬프트의 앞이나 끝에서 멀어질수록 그 근거를 덜 활용하는 경향이 있다. 새 논문은 이 위치 편향이 Transformer, 상태공간 모델(SSM), 하이브리드 Mamba 구조에서 어떻게 다르게 나타나는지 비교했다. 논문은 arXiv에 2026년 10월 22일 공개됐다.
실험은 정답 근거가 든 문서 하나를 고정된 방해 문서 아홉 개 사이에서 옮겨 가며 정확도 변화를 보는 방식이다. 평가한 Transformer는 앞쪽에 놓인 근거에서 유리했고, 평가한 상태공간 모델에는 이런 앞쪽 이점이 없었다. 끝쪽 근거는 Transformer와 상태공간 모델 두 계열 모두 선호했다.
계열 차이와 조건별 결과
순수 Mamba와 하이브리드 Mamba를 짝지어 비교한 결과도 같은 방향을 가리켰지만 통계적으로는 불확실하다. 계열 간 차이는 과제를 풀 수 있는 모델들 사이에서 나타났다.
합성 검색 과제에서는 Transformer의 앞쪽 우위가 다시 나타났다. 다만 상태공간 모델이 이 과제에서 만점에 가까워 천장에 닿았기 때문에 계열 비교는 할 수 없었다. 한 상태공간 구조 안에서 말뭉치를 바꾸자 전체 정확도는 달라졌지만 곡선 모양에서 감지되는 변화는 없었다.
프롬프트를 바꾸면 앞쪽 이점이 생기기도 하고 거의 사라지기도 했다. 응답 곡선이 달라도 근거의 위치 정보는 모든 구조에서 모델 내부에서 읽어낼 수 있었다. 시험한 Transformer 계열에서는 초기 토큰 근처의 어텐션 집중이 앞쪽 민감도와 함께 변했다.
저자들은 탐색적 결과라고 밝혔다. 긴 문맥을 얼마나 잘 쓰는지는 평가한 구조 계열, 모델 능력, 과제, 프롬프트에 따라 달라지며, 시퀀스 혼합 방식(sequence mixer)만이 원인이라고 분리해 말할 수는 없다는 것이다.
긴 문서를 넣어 질문하는 서비스를 만드는 개발자라면, 근거 문서를 프롬프트 어디에 두느냐가 모델 구조와 프롬프트 문구에 따라 결과를 바꿀 수 있다는 점을 점검 항목에 넣을 만하다. 이는 논문이 보고한 프롬프트 민감성과 구조별 곡선 차이에서 끌어낸 해석이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.