LADDER, LLM 가지치기 70% 이상 희소성에서 품질 저하 줄여

대규모 언어 모델의 가중치를 학습 뒤에 덜어내는 사후 비구조적 가지치기에서, 희소성이 높아질 때 생기는 품질 저하를 줄이는 방법 LADDER가 제안됐다. 논문은 2026년 10월 20일 arXiv에 공개됐다. 연구진은 희소성 70%부터 비교 기법인 균일 배분과 적응형 배분보다 상당히 견고하며, 낮은 희소성에서는 비슷하거나 약간 약하다고 밝혔다.

LADDER는 Layer-Wise Allocation via Damage-Driven Evaluation and Refinement의 약자다. 층마다 희소성을 다르게 배분하는 방식은 가지치기 품질을 높일 수 있지만, 희소성이 커지면 품질이 급격히 떨어질 수 있다는 문제가 있다. 연구진은 이를 억제하려고 희소성을 한 번에 정하지 않고 단계적으로 배분한다.

작동 방식과 평가 조건

각 단계에서 대상이 될 수 있는 층마다 가중치의 일정 비율을 추가로 제거하는 경우를 평가한다. 그중 제거한 매개변수당 모델 전체(end-to-end)의 성능 저하가 가장 적은 층의 변경을 확정한다. 이 과정은 층마다 희소성이 다른 구성을 만들고, 여러 희소성 예산에 걸쳐 마스크가 정확히 포개지는 구조도 만든다.

연구진은 OPT, Llama, Qwen 계열 모델 다섯 개에서 희소성 10~90% 구간을 평가했다. 후보 생성 백엔드로는 SparseGPT를 쓰고, 균일 배분과 적응형 배분 기법을 비교 대상으로 삼았다.

결과

희소성이 낮은 구간에서 LADDER는 비교 기법과 비슷하거나 약간 뒤졌고, 70%부터는 크게 견고해졌다고 연구진은 밝혔다. 이 고희소성 구간의 이점은 이후 지식 증류를 거친 뒤에도 다섯 모델 중 네 모델에서 대부분 유지됐다. 비교 기법과 견주어 영점(zero-shot) 과제의 종합 정확도를 더 잘 보존하는 결과로도 이어졌다.