Mistral, 시계열 예측 모델 Timestral 공개, 209M으로 TimesFM-3 상회 주장

Mistral AI가 시계열 예측 전용 파운데이션 모델 계열 Timestral을 공개했다. 매개변수 5M, 28M, 123M, 209M짜리 네 가지이며, 가장 큰 209M 모델이 공개 벤치마크 GIFT-Eval, TIME, fev-bench 세 곳에서 사전 학습·제로샷 모델 중 1위라고 회사가 밝혔다. 이전 최고 모델보다 매개변수가 3분의 2 수준인데도 앞선다는 주장이다.¹

가중치와 추론 코드가 공개됐다. Mistral은 Timestral을 실행하는 GitHub 저장소를 올렸고, 가중치는 Hugging Face에서 내려받는다. 라이선스는 Modified MIT이며, 추론에 GPU가 필요 없다. Mistral 문서는 209M 모델을 Public Preview로 분류한다. 요금은 따로 밝히지 않았다.^1,2

벤치마크 성적과 경쟁 모델

Mistral은 사전 학습한 제로샷 모델끼리 비교한 다섯 가지 지표 모두에서 Timestral이 1위라고 밝혔다. 앙상블 없이 체크포인트 하나로 얻은 결과다. 비교 대상 리더보드는 GIFT-Eval이 사전 학습·제로샷으로 비교 가능한 83개 항목, TIME이 35개 항목, fev-bench가 37개 항목이며, Mistral은 이 가운데 각각 상위 10개를 보여 줬다. 결과는 GIFT-Eval과 TIME 리더보드에 제출했다.¹

209M 모델의 수치는 GIFT-Eval에서 MASE 0.658, CRPS 0.446(낮을수록 좋음), TIME에서 MASE 0.626, CRPS 0.522(낮을수록 좋음), fev-bench에서 SQL 스킬 점수 50.39, MASE 스킬 점수 39.49(높을수록 좋음)다. 이 값은 Timestral-209M 모델 카드에 실려 있다.²

Toto-2.0의 TIME 수치는 Datadog 모델 카드의 값이며, Mistral 모델 카드에는 0.642 / 0.539로 적혀 있다. Google과 Amazon은 자사 모델 페이지에 같은 형식의 수치를 싣지 않았다.²

격차가 큰 지표는 아니다. GIFT-Eval MASE에서 Timestral은 t0-gamma(0.661)를 0.003 차이로 앞선다. 123M 모델의 GIFT-Eval MASE는 0.659로, 209M 모델과 0.001 차이다. Mistral은 28M 모델이 GIFT-Eval과 TIME에서 Chronos-2를 앞선다고 밝히며 Chronos-2가 약 4배 크다고 설명했다. 위 표에 적힌 Chronos-2의 매개변수는 120M이다. 209M 모델은 더 적은 매개변수로 TimesFM-3와 Falcon-2.0을 넘는다는 것이 회사의 주장이다.^1,2

Google도 TimesFM-3를 소개하며 GIFT-Eval, fev-bench, TIME 세 벤치마크에서 사전 학습 파운데이션 모델 중 최상위라고 밝혔다. 다변량 모드에서 점 예측과 확률 예측 모두 평균 순위가 가장 높다는 것이다. TimesFM-3는 매개변수 330M이고 실제와 합성 시계열 1조 개 이상의 시점으로 사전 학습했으며, 다변량 예측을 단일 순전파로 처리한다. 모델은 Hugging Face와 GitHub에 올라 있고 BigQuery의 AI.FORECAST 명령으로도 쓸 수 있다.³

CPU에서 도는 네 가지 크기

Mistral은 네 모델이 구조와 학습 방식을 공유하며, 정확도와 모델 크기 사이의 파레토 최전선에 모두 놓였다고 밝혔다. 같은 크기의 공개 모델 가운데 이보다 잘 예측하는 모델이 없다는 뜻이다. 큰 모델은 정확하고 작은 모델은 빠르고 싸다.¹

속도는 8스레드 표준 서버 CPU에서 15분 간격 3주치 기록으로 하루 뒤를 예측하는 조건에서 쟀다. 5M 모델이 10ms, 209M 모델이 140ms 걸렸다. 28M 모델은 209M보다 5배 빠르고, 123M 모델은 209M 점수의 0.2% 이내를 4분의 3의 지연 시간으로 낸다. 209M 가중치는 fp32로 837MB이고, 내려받는 크기는 5M가 21MB, 28M가 111MB, 123M가 490MB다.^1,2

작동 방식과 입력

Timestral은 시간 축 어텐션과 변수 간 어텐션을 쓰는 인과적 패치 기반 트랜스포머다. 209M 모델은 24개 층, 임베딩 차원 768이고 패치 하나가 32개 시점을 담는다. 단일 순전파로 최대 1,024 스텝을 예측하며, 더 긴 구간은 블록마다 중앙값을 다시 입력해 이어 간다. 문맥 길이는 최대 32,768 시점이다.

출력은 시점마다 21개 분위수를 내는 확률 예측이다. 입력으로는 여러 대상 변수를 함께 넣을 수 있고, 과거에만 알려진 공변량, 미래에 이미 알려진 공변량, 범주형 공변량을 받는다. Mistral은 요일이나 기계 상태(가동·유휴·정비)를 숫자로 바꾸면 없는 순서와 크기가 생기므로 범주 그대로 넣는 방식을 택했다고 설명했다.^1,2

Mistral이 꼽은 기술 요소는 네 가지이며 세부 내용은 기술 보고서에서 다룰 예정이다.

• Decoupled Horizon Forecasting(DHF): Toto 2.0과 TimesFM-3의 연속 패치 마스킹은 예측할 값을 가려 결측처럼 보이게 하고 이후 예측의 문맥에서도 잃는다. DHF는 전체 이력을 시퀀스에 두고 학습된 예측 토큰이 앞선 이력을 읽게 한다. 관측값이 목표이자 문맥이 되고, 실제 결측은 결측으로 표시되며, 학습 예측 구간과 결측 증강을 따로 조절한다.
• 공변량 인지 어텐션: 입력 계열마다 대상, 과거 공변량, 미래 공변량 중 역할을 준다. 미래 공변량은 창 전체에서 보이고 대상은 인과적으로 유지되며 정보는 공변량에서 대상으로만 흐른다. 휴일 달력이나 날씨 예보를 쓰면서 대상 자신의 미래가 새지 않는다.
• 합성 데이터 우선: 학습 데이터 대부분이 합성 데이터다. 추세, 계절성, 다양한 잡음을 가진 단변량 과정을 만든 뒤, 다변량 합성기로 이들 사이에 비선형 의존성을 넣어 다변량 계열을 구성했다.
• 2단계 학습: 먼저 문맥 크기 8192의 순수 합성 데이터로 사전 학습하고, 이어 실제와 합성 데이터를 섞어 4배 긴 문맥으로 사후 학습한다. 목적 함수는 CRPS의 이산 근사인 21개 분위수 핀볼 손실이다.¹

활용과 미세 조정

Mistral은 공장 설비를 예로 들었다. 펌프의 진동, 온도, 압력은 따로 움직이지 않으므로 관련 계열을 함께 모델링하고, 분위수 예측으로 불확실성의 폭에 맞춰 경보 기준을 정하며, 생산 일정이나 예정된 가동 중단 같은 미래 공변량을 넣어 예정된 부하 증가를 이상으로 오인하지 않게 한다.

Timestral은 숫자 모델이어서 기존 모니터링 파이프라인에 넣거나 Mistral 언어 모델과 에이전트 흐름으로 묶을 수 있다. 회사가 든 예는 Timestral이 센서 스트림에서 이상을 찾으면 에이전트가 신호를 임베딩해 과거 고장 사례를 검색하고, 하위 에이전트가 정비 기록과 작업 지시서 등으로 원인을 분석해 진단 초안을 만드는 구성이다.

공개 벤치마크 점수가 실제 데이터의 성격을 다 반영하지는 않는다. Mistral은 이를 이유로 Mistral Forge를 통한 미세 조정을 제공한다. 제로샷 추론, 도메인별 공변량 같은 구조 확장, 자체 데이터 미세 조정, 학습 혼합 비율 조정과 사전 학습 데이터 재사용, 합성 샘플 생성을 지원하며, 백테스트 데이터가 사전 학습에 쓰이지 않았음을 보장할 수 있다고 한다. 파이프라인은 고객 하드웨어에 온프레미스, VPC, 에어갭 환경으로 배포할 수 있다.¹

설치는 Mistral의 Timestral GitHub 저장소에서 pip로 패키지를 받아 하며, Python 3.10 이상과 torch 2.4 이상이 필요하다. 의존성은 PyTorch, NumPy, safetensors, huggingface_hub이다.

라이선스는 TimesFM-3와 갈린다. Marktechpost는 TimesFM-3 가중치가 비상업용 v1.0 라이선스이고, Chronos-2와 Toto-2.0은 Apache 2.0이며, Timestral은 Modified MIT라고 정리했다.²