LayerTrim, 추론 모델 가지치기 성능 붕괴 막아 평균 정확도 RESP보다 최대 21.4%p 높아

연구진이 2026년 10월 13일 논문으로 LayerTrim을 공개했다. 추론 모델을 가지치기해도 긴 추론 성능이 무너지지 않게 하는 방법으로, 기울기 계산이나 복구용 학습 없이 쓰는 구조적 프루닝 기법이다.

구조적 프루닝은 LLM의 구성 요소를 덜어 내 더 작은 밀집 모델을 만들어 추론 비용을 줄이는 방식이다. 연구진은 기존 방법이 AIME 같은 긴 추론 과제에서 성능 붕괴를 일으킬 수 있다고 지적했다.

LayerTrim은 중복된 층을 찾아 그 층의 MLP 특징만 골라 덜어 내고, 어텐션과 층의 깊이는 그대로 둔다. 연구진은 긴 추론 능력을 보존하도록 설계한 학습 불필요 구조적 프루닝 기법으로는 이것이 최초라고 밝혔다.

추론 모델 3종과 벤치마크 5개로 실험한 결과, LayerTrim은 평가한 설정 대부분에서 기존 구조적 프루닝 방법을 앞섰다. 기존 구조적 프루닝 방법 RESP와 비교하면 평균 정확도가 최대 21.4%p 높았다.

Qwen3-14B에서는 원래 밀집 모델보다 prefill이 1.24배 빠르고 최대 GPU 메모리 사용량이 19.7% 낮았다. 평가한 가지치기 모델 중 평균 생성 길이가 가장 짧았고 평균 정확도는 가장 높았다. 연구진은 구조 압축과 토큰 생성량 감소가 함께 추론 효율을 높였다고 설명했다.