GPU 메모리에 올라가지 않는 전문가를 CPU와 GPU 중 더 유리한 쪽에 나눠 맡기는 전문가 혼합(MoE) 추론 시스템이 arXiv에 공개됐다. 연구진은 대표적인 MoE 대규모 언어모델 세 종으로 실험했고, 평가한 배치 크기 전반에서 가장 강한 기준 시스템(baseline)과 비교해 프리필 속도는 최대 51.9%, 디코딩 처리량은 최대 39.5% 높았다고 밝혔다.
MoE 모델은 전문가를 일부만 활성화해 계산량을 줄이지만, 전체 전문가가 차지하는 메모리는 GPU 용량을 넘기는 경우가 많다. 그래서 메모리가 부족한 환경에서는 전문가를 밖에 두는 오프로딩이 필요하다. 기존 시스템은 GPU에 없는 전문가를 GPU로 옮기거나 CPU에서 계산했다. 전자는 PCIe 전송에 따른 지연 시간이 크고, 후자는 느린 CPU 연산이 병목이 된다.
연구진이 제안한 방식은 전문가별 토큰 부하 차이를 이용한다. 토큰이 많이 몰린 전문가는 GPU로 옮겨 계산하고, 부하가 낮은 전문가는 CPU에서 처리한다. CPU 계산 경로와 GPU의 전송 및 계산 경로가 최대한 일찍 끝나도록 배정을 상황에 맞게 조절해 전체 지연을 줄인다.
GPU 메모리 예산을 달리한 조건에서도 향상 폭이 일관되게 나타났다고 연구진은 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.