ElevenLabs가 실시간 대화용 음성-음성 모델 Eleven Realtime 2종을 공개했다. 상위 모델 v1 Max는 음성 추론 벤치마크인 Big Bench Audio에서 98.8%를 기록했고 응답 시간은 0.57초다. 회사는 Artificial Analysis 리더보드에 올라 있는 모델 중 이보다 빠르면서 정확도까지 높은 모델은 없다고 밝혔다.
두 모델은 ElevenAgents 플랫폼과 OpenAI 호환 Realtime API로 쓸 수 있다. 요금은 분당 요금에 토큰 비용을 더하는 방식이고, v1 Max가 v1 Mini보다 비싸다. 구체적인 금액은 ElevenLabs 요금 페이지에서 볼 수 있다.
v1 Mini는 낮은 비용으로 자연스러운 대화를 하도록 만든 소형 모델이다. 상대가 말을 끝냈는지, "음" 하고 맞장구만 쳤는지를 구분한다. v1 Max는 고객 지원처럼 복잡한 업무를 겨냥한다.1
Big Bench Audio는 Artificial Analysis가 2024년 12월 공개한 데이터셋으로, 추론 문제 1,000개를 음성으로 바꿔 놓았다. 형식 오류 판별, 경로 탐색, 물건 세기, 거짓말 논리 문제 네 유형이 각각 250문항이다. 음성 파일은 합성 목소리 23종으로 만들었다.
공개 당시 Artificial Analysis는 GPT-4o의 텍스트 입력·출력 정확도가 92%인 데 비해 음성-음성 방식인 GPT-4o Realtime Preview(2024년 10월판)는 66%에 그친다고 밝혔다. 음성을 글로 옮겨 처리한 뒤 다시 음성으로 바꾸는 파이프라인 방식은 텍스트 처리와 차이가 거의 없었다.2