ixi-O 연구진이 12억 개 매개변수 규모의 한국어 소형 언어 모델 ixi-sLM을 모바일 NPU에서 돌려 AI 통화 에이전트 서비스에 쓴다는 내용의 논문 초록이 2026년 10월 14일자로 arXiv에 게재됐다. 모델 하나가 ixi-O의 상용 서비스인 AI 통화 요약과 AI 통화 응답을 함께 처리한다. 연구진은 이 단일 도메인 적응 모델이 두 서비스에서 최신 클라우드 대규모 언어 모델의 작업별 가중 품질 대비 94%를 낸다고 밝혔다.
기기 안에서 실행하면 개인정보가 밖으로 나가지 않고, 네트워크 없이도 동작하며, 질의마다 드는 클라우드 비용이 없다. 연구진은 상용 서비스로 배포하면 클라우드 배포에서는 겪지 않는 제약이 따른다고 설명했다. 메모리 예산은 약 1GiB이고, 통화 중 지연 시간과 발열에 한계가 있으며, NPU는 정수 고정 방식으로 실행된다. 여기에 소형 모델의 사전 학습과 동떨어진 한국어 음성 인식(STT) 입력, 클라우드 수준의 품질 기대도 제약으로 꼽았다.
연구진은 도메인 적응 모델링으로 통화에서 나타나는 빈도를 기준으로 어휘를 줄였다. 4비트(INT4) 양자화한 트랜스포머 가중치 기준으로 임베딩과 출력층(LM head)이 모델의 거의 절반을 차지하기 때문이다. 토크나이저도 통화 음성에 맞게 다시 조정해, 통화 트래픽에서 토큰이 18% 줄었다.
작업 인지 양자화도 함께 썼다. 실제 통화 데이터로 보정하고, 모듈별 활성값의 민감도에 따라 정밀도를 다르게 배정하는 혼합 정밀도 방식이다.
모델 크기는 803MiB로 FP16의 28%이고, 통화 한 건당 에너지 소비는 CPU로 돌릴 때의 23% 수준이다.
연구진은 이 온디바이스 모델링이 품질을 NPU로 옮기는 과정에서 전체 점수가 소폭 떨어지는 데 그쳤다고 밝혔다. 같은 방식이 Qualcomm과 Apple NPU에 배포되며, 수백만 명의 ixi-O 가입자에게 상용 서비스 중이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.