Kyutai가 인터랙티브 월드 모델을 위한 비디오 오토인코더 계열 CADRE를 공개했다. 공개 범위는 오토인코더 7종, 더 오래 학습한 다중 해상도 버전 4종, CADRE-2×16×16을 바탕으로 만든 월드 모델 4종이다. 연구진은 CADRE 기반 월드 모델이 H100 1장에서 초당 20프레임으로 돌아가고 사용자의 조작에 230ms 안에 반응한다고 논문에서 밝혔다.
_021.png){kind=link}
코드는 MIT 라이선스다. Hugging Face에 올라온 가중치는 CC BY-NC 4.0이라 상업적 이용이 막혀 있고, 인코더가 쓰는 DINOv3의 라이선스도 함께 적용된다. 키보드로 월드 모델을 직접 조작해 볼 수 있는 라이브 데모도 있다. 월드 모델은 12억 파라미터이고 영상 해상도는 288×512다. Kyutai는 양자화 버전을 밝히지 않았다.
반응 지연이 생기는 이유
월드 모델은 오토인코더가 만든 잠재 공간에서 영상을 생성하므로, 오토인코더의 압축 방식이 프레임당 비용과 조작 지연을 함께 정한다. 기존 월드 모델은 텍스트-영상 생성 모델의 오토인코더를 빌려 쓰는 경우가 많은데, 이 오토인코더는 여러 프레임을 잠재 벡터 하나에 담기 때문에 그 묶음이 끝날 때까지 조작이 기다려야 한다.
압축은 τ×s×s로 표기한다. τ는 잠재 벡터 하나가 담는 프레임 수, s는 공간 압축 배율이다. 연구진은 지연을 τ/f(초당 프레임 수)에 생성 시간과 디코딩 시간을 더한 값으로 계산한다. τ가 8이고 20fps이면 묶음만으로 400ms가 더해진다. 연구진은 사람이 자기 움직임이 늦다고 느끼는 기준을 약 230ms로 제시했다.
구조와 학습
CADRE 7종은 학습 파라미터가 각각 약 4억 7,600만 개이고, 고정된 DINOv3 ViT-B/16(8,600만 개)을 함께 쓴다. 인코더는 MIRA 방식을 따른다. DINOv3가 프레임마다 패치별 특징을 뽑으면 학습된 3D 합성곱 하나가 이를 64채널 잠재 벡터로 압축한다. 7종은 이 병목 구간만 서로 다르다.
디코더는 24블록짜리 인과 확산 모델 트랜스포머로, 영상을 묶음 단위로 이어서 복원한다. 점진적 자기 증류로 1~2단계만에 디코딩하도록 가르쳤고, 학습은 적대적 손실 없이 한 단계로 끝냈다. 학습 데이터는 웹, 로봇, 주행, 게임 영상을 포함한 공개 영상 23종, 약 7만 6천 시간이다.
평가에서는 오토인코더마다 같은 12억 파라미터 월드 모델을 학습시켰다. 환경은 로봇 조작(ABC), 사람 조작(EgoDex), 주행(PhysicalAI AV), 실내 이동(RealEstate10K) 네 가지다. 각 모델은 실제 영상 2초를 보고 4.8초를 생성한다. 지표는 화질(FID), 움직임 품질(FVD), 행동 추종도(ARR)이며, ARR은 고정된 역동역학 탐침으로 측정하고 1이면 실제 영상과 같다. 월드 모델은 H100 1장에서 BF16, 배치 크기 1로 돌렸다.
성능 비교
H100 1장에서 CADRE-2×32×32는 디코딩 1단계로 지연 시간 185ms, 초당 23.4프레임을 냈다. Wan 2.2 오토인코더는 317ms, LTX-2는 492ms, Cosmos는 605ms였다. 더 빠른 쪽도 있다. MIRA 방식은 175ms에 초당 26.6프레임이고, 프레임을 하나씩 처리하는 DC-AE는 118ms다. 연구진은 CADRE가 MIRA, Wan 2.2, Cosmos, LTX-2와의 48개 비교 중 42개에서 속도가 같거나 빠르면서 품질도 더 좋았다고 밝혔다.
카메라가 움직이는 환경에서 차이가 크다. 주행 FVD는 CADRE-2×16×16이 162.6, Wan 2.2가 599.7, LTX-2가 913.3이다. 실내 이동에서 LTX-2의 ARR은 0.04까지 떨어졌다. 다시 학습시킨 MIRA 디코더와 비교하면 1단계 확산 디코더가 FVD를 1.4~2.5배 낮췄다. 수치는 모두 Kyutai가 직접 측정한 것이다.
| 모델 | 압축(τ×s×s) | 조작 지연 | 최대 fps | 주행 FVD(낮을수록 좋음) | 로봇 조작 ARR(높을수록 좋음) |
|---|---|---|---|---|---|
| CADRE-2×32×32 | 2×32×32 | 185ms | 23.4 | 171.3 | 0.45 |
| CADRE-2×16×16 | 2×16×16 | 216ms | 17.3 | 162.6 | 0.73 |
| MIRA recipe | 2×32×32 | 175ms | 26.6 | 311.6 | 0.39 |
| Wan 2.2 VAE | 4×16×16 | 317ms | 34.2 | 599.7 | 0.85 |
| Cosmos CV8x8x8 | 8×8×8 | 605ms | 39.0 | 452.5 | 0.78 |
| LTX-2 VAE | 8×32×32 | 492ms | 87.4 | 913.3 | 0.25 |
연구진이 꼽은 발견과 한계
- 압축이 강할 때 지각 손실 기반 복원은 영상이 뭉개지지만, 확산 방식은 선명한 영상 하나를 샘플링한다.
- 시간 압축은 월드 모델 안에서 패치로 처리하지 말고 오토인코더에서 해야 한다. 8프레임 묶음에서는 ARR이 0.72에서 0.56으로 떨어졌다.
- 카메라가 고정이면 시간 압축을 견디고, 움직이면 프레임 수를 줄이고 공간 토큰을 굵게 쓰지 않는 쪽이 낫다.
- 공간 토큰이 굵으면 움직임 품질이 먼저 나빠진다. 로봇 조작에서 공간 압축 32배는 16배보다 FVD가 2.4배 높았지만 FID는 거의 변하지 않았다.
CADRE가 모든 항목에서 앞서지는 않는다. 로봇 조작 FVD는 Cosmos가 39.5로, 가장 좋은 1단계 CADRE의 47.6보다 낫다. 속도를 우선하는 구간에서는 DC-AE가 로봇 조작에서 CADRE-1×48×48을 앞선다. 같은 환경에서 ARR은 CADRE-2×32×32가 0.45로 Wan 2.2의 0.85에 못 미친다. 처음 보는 영상의 복원 PSNR도 Wan 2.2가 35.02dB로 CADRE-2×32×32의 22.86dB보다 훨씬 높다. Kyutai 연구진은 복원 품질이 롤아웃 품질을 예측하지 못한다고 주장하며, 실내 롤아웃 FVD에서 Wan 2.2가 꼴찌라는 점을 근거로 든다.
묶음이 길면 경계에 이음매가 눈에 띈다. τ가 8이면 경계 초과 값이 환경별로 1.6~1.8에 이른다. CADRE-4×24×24는 내비게이션에서 이상치이며 주행 FVD가 403이다. 월드 모델은 환경마다 따로 288×512로 학습했으므로, 이 결과가 범용 모델에도 통하는지는 연구진이 열린 문제로 남겼다.
조작형 월드 모델을 만들려는 개발자에게는 영상 품질보다 묶음 크기와 디코딩 단계 수가 반응 속도를 좌우한다는 점이 쓸모 있다. 다만 가중치가 비상업용이어서 제품에 넣으려면 별도 학습이나 다른 라이선스가 필요하다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.