시계열 예측용 소형 인코더 전용 모델 Morpheus-2.0과 확장판 Morpheus-2.0 Multiscale이 논문으로 공개됐다. 여러 분야와 주기를 아우르는 벤치마크 GIFT-Eval에서 Multiscale은 상대 MASE 0.646, 상대 CRPS 0.455를 기록했고, 논문은 이 두 지표 모두 지금까지 발표된 시스템 가운데 가장 낮다고 밝혔다.
기본 모델인 Morpheus-2.0은 파라미터 81M으로 상대 MASE 0.685를 얻었다. Multiscale은 이보다 큰 모델이며, 논문은 두 모델이 서로 보완하는 운용 지점을 제공한다고 설명한다.
범용 예측 모델은 한 번 학습한 뒤 여러 데이터에 적용해야 한다. 데이터마다 목표 변수와 보조 변수의 수가 다르고, 예측 기간은 자릿수 단위로 차이 나며, 관측 주기도 초 단위에서 연 단위까지 걸친다. 논문은 기존 시계열 파운데이션 모델이 이런 과제를 일부만 해결한다고 지적한다. 각 시계열을 따로 처리하거나 두 격자 관계를 별도 블록에서 거치며, 예측 기간과 해상도도 학습 전에 고정하기 때문이다.
Morpheus-2.0은 인코더만 쓰는 구조로, 목표 변수와 보조 변수를 하나의 변수-시간 격자에 놓는다. 이중 축 어텐션은 모든 층에서 두 관계를 나란히 계산한다. 하나는 같은 시점의 변수 사이, 다른 하나는 한 변수의 시간 흐름 안에서의 관계다. 층마다 학습된 게이트가 두 축의 비중을 정하고, 축 인식 회전 인코딩이 두 격자 좌표를 모두 보존한다.
학습 중에는 예측 길이를 무작위로 뽑는다. 덕분에 가중치 한 벌로 짧은 기간부터 긴 기간까지 예측하며, 추론 비용이 늘지 않는다고 논문은 밝혔다. 기본 모델보다 큰 Multiscale은 여러 시간 해상도를 동시에 다루고, 예측 대상 시계열에 따라 해상도별 비중을 달리한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.