망고부스트, 서버리스 추론 플랫폼 망고 인퍼런스 공개하고 서비스 사업 전환

망고부스트가 10월 12일 서버리스 AI 추론 서비스 '망고 인퍼런스'를 처음 공개했다. 서울 강남구의 그랜드 인터컨티넨탈 서울 파르나스에서 신규 서비스 출시 기자간담회를 열고 선보였다. 이용자는 인프라를 직접 갖추지 않아도 AI 모델을 쓸 수 있고, 서비스는 회사의 풀스택 인프라에서 구동된다.

사업 방식도 바뀐다. 망고부스트는 그동안 DPU, 서버, 카드를 제품으로 판매했으나 앞으로는 하드웨어와 소프트웨어를 묶은 서비스에 무게를 둔다. 김장우 대표는 같은 날 인터뷰에서 개발과 연구 위주이던 회사가 사업 중심으로 넘어가고 있으며 고객을 직접 마주하는 단계에 들어섰다고 밝혔다.

데이터 전송과 연산 재활용으로 효율을 높인다는 구상

회사가 내건 목표는 배포를 초 단위로 끝내고, 지연을 낮추고, 처리량을 최대로 끌어올리며, 총소유비용(TCO)을 개선하는 것이다. 이를 위해 두 가지 방식을 쓴다. 데이터 전송은 원래 CPU가 처리했으나 DPU가 넘겨받아 CPU의 부담을 덜고, 앞서 끝낸 AI 연산 결과는 저장해 두었다가 다시 불러 써서 같은 계산을 되풀이하지 않는다. 망고부스트는 그 결과 동일한 GPU 자원에서 더 많은 요청을 소화할 수 있다고 밝혔다.

김장우 대표는 설계와 개선을 하드웨어와 소프트웨어 양쪽에서 동시에 해내는 역량을 회사의 강점으로 꼽았다. 가속기가 필요한 지점과 소프트웨어를 손볼 곳을 함께 가려내야 시스템 전체가 좋아진다는 설명이다. 회사는 남이 구축한 인프라 위에 소프트웨어만 올리는 방식과 비교해, 시스템을 짓고 굴리는 전 과정에서 비용을 줄일 여지가 크다고 판단한다.

국내 인프라 구축과 시리즈B 일정

회사는 올해부터 2027년 사이 국내에 1~5메가와트(MW) 용량의 AI 인프라를 세울 계획이다. 이 인프라로 가격 대비 성능을 국내에서 먼저 입증한 뒤 해외 진출을 노린다. 올해 매출은 100억원을 웃돌 것으로 보며, 올해는 서버와 카드 판매가 매출을 떠받치고 추론 서비스 매출은 내년부터 커지길 기대한다. 시리즈B는 연내 마무리가 목표이고 투자 규모는 밝히지 않았다. 조달 자금은 서비스를 운영할 기반을 갖추고 사업을 키우는 데 쓴다.

김장우 대표는 AI 인프라 경쟁의 승부처가 자본력에서 가격 대비 성능으로 옮겨 갈 것으로 내다봤다. 대형 AI 서비스를 돌리는 기업에는 비용이 10~20%만 줄어도 큰 의미가 있다며 경쟁력을 입증하겠다고 했다.