Samaya AI가 금융 리서치 에이전트용 모델 Samaya Sterling을 공개했다. NVIDIA의 Nemotron 3.5 Lightning을 바탕으로 후속 학습한 모델이다. Samaya AI의 자체 벤치마크 FrontierFinance에서 58.9%를 기록해 Claude Fable 5.1의 55.9%를 앞섰다고 회사는 밝혔다.1
질문 하나당 비용은 Sterling이 $0.61, Fable 5.1이 $6.89로 약 11배 차이가 난다. 다만 Sterling은 공개 가중치나 API가 발표되지 않았고, 서빙 컨텍스트와 서빙 하드웨어, 토큰 요금도 공개되지 않았다. 모든 수치는 Samaya AI가 직접 낸 것이다.1
작동 방식과 하네스
Sterling은 Nemotron 3.5 Lightning에 LoRA 방식으로 후속 학습을 한 모델로, 연구를 계획하고 금융 도구를 호출해 근거를 모은 뒤 결과를 별도의 보고서 작성 모델에 넘긴다. 기반 모델인 Nemotron 3.5 Lightning은 총 300억 개, 활성 30억 개 파라미터의 전문가 혼합 구조이며 컨텍스트는 최대 100만 토큰이다. 이 기반 모델은 BF16 기준으로 H100 80GB 한 장에 256K 컨텍스트로 올라간다. Maithra Raghu의 X 발표에 따르면 이 프로젝트는 에이전트 오케스트레이션 효율을 다루는 2인 팀에서 시작했다.
Samaya 팀은 실제 서비스에 쓰는 금융 하네스를 작은 모델에 맞게 고쳤다. 시스템 프롬프트와 도구 설명에서 상세한 지침을 덜어냈고, 도구를 합쳐 프롬프트를 줄였다. 보조 모델 두 개가 컨텍스트를 관리한다. 하나는 긴 도구 결과를 줄이고, 다른 하나는 길어지는 작업 기록을 요약한다. 연구 예산이 에이전트의 작업 시간을 제한하고, 그다음에 보고서 작성 모델이 수집한 내용으로 답한다.1
4단계 학습
학습은 Thinking Machines Lab의 학습 API인 Tinker에서 LoRA로 진행했다. 1단계는 합성 궤적 지도 미세 조정이다. 합성 애널리스트 질문 968개를 만들고 교사 모델 Kimi K3가 질문마다 두 번 답하면 LLM 심사가 더 나은 답을 골랐다. 모델은 도구 37개를 올바른 인자로 호출하는 법을 익혔다.
2단계는 전문가가 쓴 질문 1,819개에 Kimi K3가 연구 전략 8가지로 답한 뒤, 질문마다 채점이 가장 높은 답을 학습 데이터로 쓰는 방식이다. 8개 중 최선을 고르면 핵심 평가 항목의 80%를 충족해, 가장 좋은 단일 전략의 약 66%를 웃돌았다. 걸러낸 뒤 1,157개 질문이 남았다.
3단계 오프라인 GRPO는 교사의 답 8개를 서로 비교해 점수를 매기므로 새로 생성할 필요가 없어 단계마다 비용이 낮다. 4단계 온라인 GRPO는 모델이 질문마다 8번 답하고 채점된 시도에서 배운다. 잘린 중요도 샘플링으로 MoE 샘플러의 알려진 불일치를 보정했다.1
FrontierFinance 결과
FrontierFinance는 전문가가 쓴 채점 기준으로 평가하는 공개 질문 220개로 구성된다. 채점은 모델 3개로 이뤄진 심사단이 맡고, Samaya 팀은 벤치마크 질문을 학습에 쓰지 않았다고 밝혔다. 체크포인트는 내부 검증 질문 100개로 골랐다.1
공개된 채점 코드의 기본 심사 모델은 Claude Sonnet 4.6, Gemini 3.1 Pro, GPT 5.4다. 제작진은 서로 다른 세 업체의 모델을 쓰면 한 모델 계열에서 생기는 편향이 줄어든다고 설명하며, 결과를 공정하게 비교하려면 같은 세 심사 모델을 쓰라고 권한다. 각 채점 항목은 다수결로 판정한다. 채점 코드는 Apache License 2.0, 채점 기준 데이터셋은 CC-BY-4.0이다.2
| 항목 | Sterling | Claude Fable 5.1 | Samaya 시스템(고강도) | Nemotron 3.5 Lightning 기반 |
|---|---|---|---|---|
| 점수 | 58.9%(고강도 60.6%) | 55.9% | 56.0% | 42.5% |
| 질문당 비용 | $0.61(고강도 $1.83) | $6.89 | $1.81 | 미공개 |
| 질문당 지연 | 282초(고강도 372초) | 268초 | 278초 | 미공개 |
| 파라미터(총/활성) | 30B/3B | 미공개 | 미공개 | 30B/3B |
| 컨텍스트 | 미공개 | 1M | 미공개 | 최대 1M |
| 제공 형태 | 공개 가중치·API 발표 없음 | 독점 API | Samaya 플랫폼 | OpenMDW-1.1, 공개 가중치 |
Sterling은 질문당 282초, Fable 5.1은 268초가 걸려 속도 차이는 크지 않다. 학습 단계마다 점수가 올라 기반 모델 42.5%에서 51.4%, 54.8%, 57.5%를 거쳐 58.9%에 이르렀고, 도구 호출 횟수의 중앙값은 3회에서 17회로 늘었다. 가장 어려운 3분의 1 질문의 점수는 31.8%에서 45.2%로 올랐다. 질문당 $0.61 중 모델 비용은 $0.04이고 나머지는 도구와 보조 모델이 차지한다. 비교 대상인 Fable 5.1의 토큰 요금은 100만 토큰당 입력 $10, 출력 $50이다.1
