모델과 서비스

Ollama v0.40.7 시험판, 비사고형 모델도 추론 강도 설정 허용

Ollama가 v0.40.7 시험판에서 OpenAI 호환 API의 Responses 추론 강도 설정을 사고 기능이 없는 모델에도 허용했다. 시험판에는 llama-server와 MLX 관련 변경도 포함됐다.

루카스 ·

Ollama가 v0.40.7 시험판(v0.40.7-rc0)을 공개했다. OpenAI 호환 API에서 사고 기능이 없는 모델에도 Responses 방식의 추론 강도(effort) 설정을 쓸 수 있도록 허용한 것이 이번 변경이다.

이 변경은 풀 리퀘스트 19010번으로 반영됐고 작성자는 @hoyyeva다. 시험판은 GitHub 릴리스 페이지에서 내려받을 수 있다.

같은 시험판에는 두 가지 변경이 더 들어갔다. @dhiltgen이 작성한 풀 리퀘스트 19064번은 llama-server가 초안 추측 방식(draft speculative type)을 스스로 추론하게 한다. @dhiltgen이 작성한 풀 리퀘스트 19072번은 MLX에 PPLX Decider v1.2 지원을 더한다.

전체 변경 내역은 v0.40.6과 v0.40.7-rc0를 비교한 GitHub 변경 기록에서 볼 수 있다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.