성능과 평가

거부 방향, 저자원 언어서 통하지 않았다…Qwen2.5-14B 실험

저자원 언어 3종을 추가한 연구에서, 안전 정렬이 약한 언어의 거부 방향은 다른 언어의 거부 행동을 안정적으로 조절하지 못했다. 거부 방향이 언어를 가리지 않고 통한다는 주장이 단계적이라는 결과다.

루카스 ·

거부 방향이 저자원 언어에서도 똑같이 통하는지 확인한 연구가 arXiv에 2026년 10월 20일 올라왔다. 연구진은 벨라루스어, 바시키르어, 타지크어 세 언어를 새로 추가해 Qwen2.5-14B-Instruct로 실험했고, 안전 정렬이 잘 된 언어와 부분적으로 된 언어의 방향은 널리 전이됐지만 정렬이 크게 어긋난 언어의 방향은 그렇지 않았다고 밝혔다.

정렬이 크게 어긋난 언어에서 뽑은 거부 방향은 대상 언어가 무엇이든 거부 행동을 안정적으로 조절하지 못했다. 같은 처지의 다른 정렬 불량 언어도 예외가 아니었으며, 연구진은 천장 효과를 감안한 뒤에도 같은 결과가 나왔다고 설명했다. 연구진은 보편성이 이분법이 아니라 단계적이라고 보며, 이번 결과가 보편성 주장을 복잡하게 만든다고 밝혔다.

기존 주장과 이번 확장

앞서 Wang 등(2025)의 연구는 안전 정렬이 된 언어들 사이에서 거부 방향이 거의 완벽에 가깝게 전이된다고 보고했고, 이 전이가 자원 수준과 무관하다는 주장도 함께 보고했다. 그러나 이 연구에서 실제로 저자원 언어로 평가된 것은 요루바어 하나였고, 요루바어는 정렬이 크게 어긋나 전이도 제한적이었다. 다른 저자원 언어에서 거부 방향이 어떻게 움직이는지는 남은 질문이었다.

연구진은 PolyRefuse를 세 언어로 넓히고, Wang 등의 안전 정렬 실험 절차를 Qwen2.5-14B-Instruct에서 그대로 재현했다.

남는 쟁점

연구진은 거부 방향의 기하학적 정렬과 행동 수준의 전이가 부분적으로 분리된다는 점도 보였다. 또 이런 결과를 볼 때 자원이 가장 적고 정렬이 가장 크게 어긋난 언어의 사용자는 더 약한 안전 보장을 받을 수 있다고 시사했다.

실험은 Wang 등이 평가한 요루바어에 새로 추가한 저자원 언어 3개를 더하고, Qwen2.5-14B-Instruct 한 모델로 진행됐다. 다른 모델에서도 같은 단계적 양상이 나타나는지는 이번 초록만으로 알 수 없다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.