Ollama가 시험판 v0.40.9-rc3에서 Apple Silicon 기기 한정으로 Phonon 기반 음성 생성을 지원한다. ollama run은 소리가 만들어지는 동안 텍스트나 채팅 모델의 답변을 바로 재생한다.
앱 개발자는 OpenAI 호환 /v1/audio/speech 엔드포인트로 오디오를 스트리밍으로 받을 수 있다. Ollama는 ollama run phonon "Hello from Ollama."를 예시 명령으로 제시했다. 음성 기능을 설명하는 상세 문서는 Ollama 문서 사이트에 따로 있다.
이번 버전에는 d3 모델군도 들어갔다. vLLM Semantic Router의 결정 모델을 Ollama에서 쓰게 한 것으로, 텍스트, 구조화된 상태, 이미지를 입력하면 분류하거나 예·아니오로 답하거나 선택지에 확률 점수를 매긴다. 크기는 2B, 4B, 9B, 27B가 있다.
Flint는 macOS에 더해 Linux와 Windows에서도 실행된다.
스트리밍으로 받는 OpenAI Responses와 Anthropic Messages 요청은 생성이 실패하면 일부 출력 뒤에 조용히 끝나지 않고 실패를 알린다. ollama launch는 클라우드 모델의 컨텍스트 길이와 기능 정보를 코딩 도구에 넘겨, 잘못 잡히던 컨텍스트와 대화 압축 설정을 바로잡았다. Anthropic 호환 웹 검색은 후속 요청에서 모델이 지원하는 사고 설정을 따라 피할 수 있던 실패를 막는다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- ollama/ollama v0.40.9 github.com