다국어 LLM, 답이 같아도 추론 과정은 언어마다 달랐다

다국어 대형언어모델(LLM)이 같은 질문에 같은 답을 내놓아도, 그 답에 이르는 추론 과정은 언어에 따라 달라진다는 평가 연구가 arXiv에 공개됐다. 논문은 7개 언어, 6개 최신 LLM, 3개 추론 벤치마크를 대상으로 화면에 드러난 추론 과정을 비교했다.

연구진은 기존 평가가 최종 답이 일치하는지, 또는 응답 전체가 얼마나 비슷한지만 잰다고 지적했다. 이 방식으로는 결과가 일관한지는 알 수 있어도, 언어가 다른 사용자가 비슷한 근거를 받는지는 알 수 없다는 것이다. 추론 과정이 검증, 교육, 안전 점검에 쓰이는 환경이 늘고 있어 이 차이가 문제가 된다고 설명했다.

추론 과정을 단계 순서로 비교하는 방법

연구진이 제안한 틀은 추론 과정을 구조를 가진 단계 순서로 보고, 일치도를 구조 유사도, 순서 일관성, 전체 유사도로 나눈다. 언어 쌍마다 보정을 적용해 서로 다른 언어끼리도 비교할 수 있게 했다.

비교 기준으로 삼은 기존 방식은 응답 전체를 임베딩으로 바꿔 두 벡터의 코사인 유사도를 재는 것이다. 연구진에 따르면 이 방식은 일치도를 체계적으로 부풀렸다. 3개 벤치마크, 7개 언어, 6개 LLM 조건 전반에서, 전체 유사도 상위 25%에 드는 사례 중 구조 유사도 상위 25%에 들지 못한 비율이 52.1%에서 67.3% 사이였다.

검증 결과와 의미

이 불일치는 문장 인코더나 단계 분할 방식을 바꿔도 유지됐다. 영어를 기준으로 한 두 언어 쌍에서 블라인드 이중언어 주석 실험을 했더니, 사람의 판단은 전체 유사도보다 구조 유사도와 더 잘 맞았다.

같은 언어 통제 실험에서는 같은 질문을 달리 표현한 두 영어 추론 과정이, 영어 추론 과정과 다른 언어의 대응 추론 과정보다 더 가깝게 일치했다. 연구진은 이 결과를 근거로 차이의 정도가 언어마다 다르다고 밝혔다.

연구진은 답 수준이나 전체 유사도 평가가 다국어 설명의 일관성을 크게 과대평가할 수 있다고 결론 내렸고, 안정적인 다국어 서비스를 위해 추론 과정 단위의 평가가 필요하다고 주장했다.