다국어 모델 가지치기, 보정 언어 따라 제거 블록 달라진다

트랜스포머 모델에서 층(블록)을 덜어내는 깊이 가지치기를 할 때, 어떤 언어 데이터로 중요도를 재느냐에 따라 제거 대상 블록이 달라진다는 연구가 2026년 10월 15일 arXiv에 올라왔다. 연구진은 Qwen2.5-1.5B-Instruct, Llama-3.2-1B, Gemma-2-2B 세 모델에서 영어로 잰 순위가 힌디어, 마라타어, 타밀어 텍스트에는 그대로 들어맞지 않는다고 보고했다.

연구가 쓴 지표는 블록 영향도(Block Influence, BI)다. 블록 입력과 출력 사이의 코사인 변화량으로 각 트랜스포머 블록의 중요도를 매기고, 값이 낮은 블록부터 제거한다. 이 순위는 보정에 쓰는 데이터 분포에 의존한다.

영어, 힌디어, 마라타어, 타밀어 모두 보정용과 평가용에 서로 겹치지 않는 위키백과 문서를 썼고, 모든 선택 방식에 같은 150개 청크 예산을 줬다. 다른 문자 체계로 전이되는지 보려고 타밀어는 다국어 집계에서 빼고, 보정 평균에 넣지 않은 채 따로 떼어 둔 평가용(held-out) 언어로 시험했다.

세 모델 모두에서 후반부 블록의 BI는 세 인도 언어가 영어보다 20.7~55.5% 높았다. 미리 정한 '후반부 대 중간부' 비교는 전부 95% 부트스트랩 구간이 0을 웃돌았다. 전체 순위의 상관은 높은데도 제거 대상으로 뽑히는 낮은 BI 블록은 달라졌다.

영어, 힌디어, 마라타어에 같은 예산을 나눠 주고 BI를 평균하면 퍼플렉서티 손상이 줄었다. Qwen은 블록 6개를 제거할 때, Gemma는 시험한 모든 깊이에서 효과가 있었고 보정에서 뺐던 타밀어에서도 같았다.

Llama에서는 결과가 갈렸다. 블록 2개를 제거할 때 힌디어와 마라타어는 나아졌지만 타밀어는 크게 나빠졌다. 가지치기 규모를 키우면 보정 언어와 상관없이 같은 블록이 선택돼 퍼플렉서티가 무너졌다. 순위 평균과 최소-최대 순위(minimax-rank) 방식도 단순 평균(raw mean)을 압도하지는 못했다.

연구진은 이 결과를 모든 모델에 통하는 가지치기 규칙이 아니라 진단 결과로 해석한다. 영어만으로 잰 BI는 인도 언어 텍스트의 후반부 층 활동을 체계적으로 놓치며, 다국어 보정은 구조와 가지치기 규모마다 따로 검증해야 한다는 입장이다.