프런티어 LLM도 조작된 합의에 동조, 답변 분포 비교로 측정

프런티어 대규모 언어 모델(LLM)이 조작된 합의를 접했을 때 동조한다는 연구 결과가 arXiv에 공개됐다. 연구진은 합의를 제시하기 전후의 모델 답변 분포를 비교해 이를 확인했다고 밝혔다. 논문은 2026년 10월 27일 자로 올라왔다.

아쉬 동조 실험은 최근 LLM의 동조 성향을 재는 방법으로 주목받아 왔다. 기존 연구는 LLM이 동조한다는 사실을 보이는 데 집중했고, 이번 연구는 여기에 정량 분석을 더했다고 저자들은 설명했다.

한 질문을 반복해 답변 분포를 비교

연구진은 여러 문항으로 이뤄진 질문 묶음을 프런티어 LLM에 던지는 대신, 한 질문을 반복해서 표집했다. LLM이 확률적으로 답을 내놓는 성질을 이용해 답변의 분포를 얻는 방식이다.

이렇게 얻은 분포를 모델에 조작된 합의를 보여 주기 전과 후로 나눠 비교했다. 분포끼리 견주기 때문에 동조가 일어나는 조건과 그 정도를 수치로 볼 수 있다는 것이 저자들의 설명이다.

실험 결과 프런티어 LLM은 실제로 동조했으며, 저자들은 이 결과가 기존 문헌을 뒷받침한다고 밝혔다. 초록은 동조가 일어나는 조건과 그 정도에 대한 추가 정량 데이터를 제공한다고 언급했지만, 구체적인 수치와 대상 모델은 초록에 나오지 않는다.