전문가 혼합(MoE) 모델에서 전문가들이 서로 비슷한 기능으로 수렴하는 현상을 줄이는 학습 방법 GaP-MoE(Gradient Accumulation and Projection in MoE)가 논문으로 제안됐다. 논문은 2026년 10월 21일 arXiv에 올라왔다. 연구진은 손실 함수를 바꾸지 않고 전문가 출력의 기울기를 직접 조작해 전문가 특화를 유도한다고 밝혔다.
희소 MoE는 입력 토큰을 일부 전문가 네트워크로만 보내 확장성을 높인다. 이 구조는 여러 전문가가 비슷한 함수로 수렴해 본래 의도한 다양성을 잃는 표현 붕괴를 자주 겪는다고 연구진은 설명했다. 실험은 BERT 기반 미세 조정(GLUE)과 GPT-2 기반 처음부터 학습하는 사전 학습(from-scratch pretraining, WikiText-103, enwik8, text8)에서 이뤄졌다.
학습의 매 단계에서 GaP-MoE는 라우팅된 상위 K개 전문가 중 하나를 정규화한 라우팅 점수에 따라 확률적으로 리더로 고른다. 나머지 팔로워 전문가의 기울기는 리더의 최근 기울기가 만드는 부분공간의 직교 여공간으로 투영한다. 전문가 사이의 방향 겹침이 사라지면서 손실 함수는 그대로 두고도 특화가 최적화 과정의 결과로 나타난다고 연구진은 설명했다.
기존 연구는 라우터 구조를 개선하거나 전문가 간 유사도를 암묵적으로 벌점화하는 보조 손실을 넣는 방식을 택했다. 연구진은 라우터 기반 방법이 라우팅 붕괴에 취약하고, 손실 기반 방법은 최적화 과정에서 과제 본래의 목표와 충돌할 수 있다고 지적한다.
연구진은 GaP-MoE가 표준 희소 MoE(SMoE)와 비슷하거나 더 나은 성능을 냈다고 밝혔다. 기존 SMoE 구조에 끼워 넣는 모듈로 쓸 수 있는지도 따로 확인해 호환된다고 했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.