정렬 전후 모델 층을 이어 붙여 LLM 다양성·품질 조절하는 연구

정렬을 마친 모델과 그 바탕이 된 기본 모델의 층을 이어 붙여, 추가 학습 없이 출력의 다양성과 품질 사이 균형을 조절하는 방법이 논문으로 공개됐다. 연구진은 이 방식을 깊이 인식형(depth-aware) FrankenMerging이라 부르며, 논문은 2026년 10월 16일 arXiv에 올라왔다.

정렬은 대규모 언어 모델(LLM)의 출력 특성을 바꾼다. 기본 모델은 더 다양한 출력을 내는 경향이 있고, 정렬된 모델은 품질이 더 높은 출력을 내는 경향이 있다. 어느 쪽에 무게를 둘지는 작업에 따라 다르다.

기존 방법에는 한계가 있다. 비용이 큰 미세 조정이 필요하거나, 샘플링 온도처럼 의미의 다양성보다 어휘의 다양성을 주로 높인다고 연구진은 지적한다.

층을 나눠 합치는 방식

이 방법은 정렬된 모델의 하위 층과 기본 모델의 상위 층을 결합한다. 어휘의 다양성은 하위 층, 의미의 다양성은 상위 층과 더 관련 있다는 가설에 따른 설계다. 각 모델에서 가져오는 층 수를 바꾸면 다양성과 품질이 조절된다는 것이 실험 결과다.

실험 결과

• 대부분의 경우 병합 모델은 정렬된 모델보다 의미의 다양성이 높았다.
• 일부 분할 위치에서는 어휘의 다양성이 원래 두 모델보다 모두 높았다.
• 대부분의 설정에서 샘플링 온도 조절보다 나은 다양성과 품질의 균형을 보였다.
• 병합 순서를 뒤집은 보조 실험(ablation)의 결과는 대체로 가설과 일치했다.

이 방법은 이미 학습된 두 모델의 층을 조합하며, 연구진은 추가 학습이 필요 없다고 밝혔다.