LLM, 같은 입력도 순서 바꾸면 정확도 90%p 가까이 차이

제품 리뷰나 소셜미디어 게시물처럼 서로 독립된 입력을 대규모 언어 모델(LLM)에 한꺼번에 주면, 입력을 늘어놓는 순서만 바꿔도 결과가 크게 달라진다는 연구가 2026년 10월 21일 arXiv에 올라왔다. 연구진은 15개 LLM을 5개 데이터셋과 7가지 순서 패턴으로 시험했고, 최선과 최악 순서 패턴 사이의 정확도 차이가 약 90%포인트에 이를 수 있다고 밝혔다.

연구가 다룬 상황은 여러 입력을 모델에 넣고 종합한 답 하나를 받는 방식으로, 논문은 이를 다중 인스턴스 처리(MIP)라고 부른다. 실험 과제는 입력마다 이진 레이블을 추정한 뒤 전체에서 가장 많이 나온 레이블을 찾는 것이다. 정답은 입력 순서와 무관해야 한다.

순서에 따라 갈린 결과

입력 묶음은 순서 패턴이 달라져도 내용을 똑같이 유지했다. 그런데도 모델들은 대체로 다수 레이블에 해당하는 입력이 앞쪽에 있을 때 중간이나 끝에 있을 때보다 더 정확했다.

일부 모델에서는 내부 단서도 분석했다. 확인 가능한 추론 기록은 초반 입력을 다른 위치보다 불균형하게 많이 언급했다. 기울기 기반 기여도 분석에서는 점수가 중간보다 처음과 끝 부근에서 대체로 높았다. 위치마다 비중이 고르지 않다는 뜻이다.

연구진은 입력 순서가 종합 예측에 체계적인 편향을 만들 수 있다고 결론짓고, MIP를 평가할 때 입력 배열을 달리해 확인해야 한다고 밝혔다.