COPE, MoE 오프로딩 최적 정책을 구현 전에 골라 준다

연구진이 전문가 혼합(MoE) 모델의 오프로딩 정책 가운데 가장 빠른 것을 실제 시스템에 구현하기 전에 골라 주는 에뮬레이션 프레임워크 COPE(Composable Offloading Policy Emulator)를 arXiv에 공개했다. 논문 게재일은 2026년 10월 24일이다.

연구진에 따르면 COPE는 비교 대상으로 삼은 기존 방식보다 가장 빠른 정책을 고르는 정확도를 24~100% 높이고, 성능 예측 오차를 1.7배에서 6.8배까지 줄였다. 시스템에 통합하기 전에 선호 정책을 식별하면 정책별 구현 노력도 최대 74% 줄어든다고 밝혔다.

정책 순위가 환경마다 바뀐다

MoE 구조는 전문가를 일부만 활성화해 토큰당 계산량을 억제한다. 이 희소성 덕분에 전문가 가중치 대부분을 CPU 메모리에 두고, 필요한 전문가만 옮기거나 CPU에서 실행하는 메모리 절약형 배포가 가능하다.

기존 오프로딩 시스템은 대개 특정 모델과 플랫폼 조합만 겨냥한다. 그런데 모델의 희소성, CPU와 GPU의 처리량, VRAM 용량, 호스트와 장치 사이 대역폭이 달라지면 정책의 우열이 뒤바뀔 수 있다. 후보 정책을 모두 구현하고 철저히 평가하려면 엔지니어링 비용이 크다. 그래서 모델과 플랫폼 조합마다 가장 성능이 좋은 정책을 효율적으로 고르는 일이 실용적인 MoE 오프로딩의 과제로 남아 있다.

두 가지 구성 요소

COPE의 정책 행렬(Policy Matrix)은 설계 공간을 전문가 상주 위치와 MoE 실행 전략이라는 독립된 두 축으로 나눈다. 이렇게 하면 후보 정책끼리 구현 메커니즘을 재사용할 수 있고, 새 후보 네 가지가 드러난다.

가상 이기종 머신(Virtual Heterogeneous Machine)은 대상 모델과 플랫폼 구성에서 결합 연산자(combined-operator) 일정을 프로파일링한다. 이 측정값에 오프라인으로 수집한 라우팅 기록을 결합해 각 후보의 성능을 추정한다.