ElevenLabs, 효과음 모델 SFX v3 API 공개…여러 지시 더 잘 따른다

ElevenLabs가 효과음 생성 모델 SFX v3를 Sound Effects API에 추가했다. 여러 지시가 담긴 프롬프트를 SFX v2보다 더 충실히 따르고, 목소리와 음악 표현도 나아졌다고 회사가 밝혔다.

개발자는 POST /v1/sound-generation 엔드포인트에서 model_id를 eleven_text_to_sound_v3로 지정하면 된다. 모델 ID를 바꾸는 것으로 업데이트할 수 있지만, loop: true를 쓰는 요청은 v2를 유지해야 한다. 소리 길이는 프롬프트에 따라 모델이 정하며, 길이를 맞춰야 하면 duration_seconds를 지정한다. 코드 없이 들어 보고 싶다면 ElevenCreative의 Sound Effects 탭, Flows, Studio에서도 효과음을 만들 수 있다.

Introducing SFX v3 for developersElevenLabs Developers · 동영상 재생 (YouTube)

결과가 요청과 다르게 나오면 prompt_influence를 기본값 0.3보다 높이면 된다. 값이 높을수록 프롬프트를 더 가깝게 따르고 생성마다 달라지는 폭이 줄어든다. 코덱과 샘플 레이트는 output_format 매개변수로 정하며 mp3_44100_128, pcm_48000 같은 값을 쓴다.

반복 재생(loop: true)은 현재 eleven_text_to_sound_v2에서만 작동한다. 반복이 필요한 요청은 v2를 계속 써야 한다.

여러 소리가 이어지는 효과음에서는 프롬프트에 사건이 일어날 순서대로 적는 것이 좋다. 예를 들면 "Footsteps on gravel, then a metallic door opens."처럼 쓴다. 소리 하나만 만들 때는 짧고 구체적인 프롬프트가 낫다. ElevenLabs는 표현에 따라 결과가 달라진다며, 블로그에서 테스터 한 명의 경험을 소개했다. 이 테스터는 "a couple arguing in French"가 "a couple fighting in French"보다 훨씬 잘 작동했다고 했다. 회사는 확정하기 전에 같은 사건을 여러 문장으로 시험해 보라고 권했다.

ElevenLabs는 SFX v3를 점진적 업데이트라고 설명했다. 징, 차임, 주전자 휘파람처럼 높은 주파수의 소리에서 클리핑(clip)이 일어날 가능성이 v2보다 낮아졌고, 엔지니어링 팀은 전반적으로 더 자연스럽게 들린다고 평가했다. 두 모델이 같은 엔드포인트에서 돌아가므로, 자주 쓰는 프롬프트를 v2와 v3에 모두 넣어 비교한 뒤 전환하라고 안내했다.