TITAN, 모델 매개변수 5% 미만만 고쳐 힌디어-신디어 번역 BLEU 45.86% 높여

연구진이 다국어 LLM에서 번역을 맡는 내부 회로를 찾아 그 부분만 최적화하는 프레임워크 TITAN을 제안했다. 논문은 2026년 10월 15일 arXiv에 공개됐다. 연구진은 힌디어에서 우르두어, 힌디어(데바나가리 문자)에서 신디어로 번역할 때 가장 강한 다국어 기준 모델보다 BLEU가 각각 33.75%, 45.86% 향상됐다고 밝혔다.

TITAN은 모델 전체를 다시 학습하지 않고, 번역에 인과적으로 중요한 희소 회로만 골라 갱신한다. 갱신하는 매개변수는 모델 전체 매개변수의 5% 미만이다. 연구진은 이를 전체 매개변수 미세 조정과 대비되는, 확장하기 쉽고 효율적인 적응 방식이라고 설명했다.

연구 대상은 디코더만 쓰는 다국어 LLM이다. TITAN은 인과 개입, 희소 특징 분해, 표적 선호 최적화를 결합해 트랜스포머 안에서 번역에 중요한 구성 요소를 찾고 최적화한다. 인간 전문가 평가에서도 두 언어쌍 모두 적절성(adequacy)과 유창성이 크게 향상된 것으로 확인됐다고 연구진은 밝혔다.

추가 분석에서는 다국어 번역이 영어를 중간 표현으로 거치는 방식이 아니라, 여러 언어가 공유하는 의미 공간 위에서 작동하는 희소하고 구조화된 회로로 이뤄진다는 결과가 나왔다.

연구진은 힌디어를 출발어로 한 두 언어쌍, 즉 힌디어에서 우르두어와 힌디어에서 신디어로 번역하는 두 방향에서 TITAN을 실험했다.