Ai2, 로봇 블록 쌓기 모델 Molmo2-4B-tb·ManiFlow-tb 공개

Ai2가 로봇 블록 쌓기 프로젝트 ToyBlocks에 쓰는 상위 모델 Molmo2-4B-tb와 하위 동작 모델 ManiFlow-tb를 Hugging Face에 공개했다. 두 모델 모두 Apache 2.0 라이선스이며, 시뮬레이션과 실제 로봇에서 로보틱스 연구에 쓸 수 있다.^1,2

역할은 나뉘어 있다. Molmo2-4B-tb는 쌓기 목표를 읽고 로봇의 전면 카메라 영상을 본 뒤 다음 단계를 고른다. 이 단계를 모션 플래너나 학습된 정책 같은 하위 모델이 실행하며, ManiFlow-tb가 그 학습 정책에 해당한다. 모델의 범위는 테이블 위 블록 옮기기로 한정되고, 로보틱스 연구 외 용도는 범위 밖(out-of-scope)이다. Molmo2-4B-tb의 기반 모델 Molmo2-4B는 학술·비상업 연구용으로만 쓸 수 있는 제3자 데이터셋으로 학습돼, 사용 전 확인이 필요하다고 Ai2는 안내했다.¹

Molmo2-4B-tb: 다음 동작을 고르는 상위 모델

Molmo2-4B-tb는 약 45억 개 매개변수의 비전-언어 모델로, 초당 약 6회 동작한다. 입력은 640x360 전면 카메라 이미지 한 장과 텍스트 목표다. 출력은 짧은 계획에 이어 동작과 대상 위치로, 대상은 Molmo2 포인트 형식으로 나온다. 동작은 집기(pick), 놓기(place), 뒤집기(flip, 네 방향), 회전(rotate, 시계·반시계), 완료(done)다.

미세 조정은 시뮬레이션으로 만든 블록 세 개 쌓기 에피소드로 했다. 배치 크기 256으로 6,000스텝을 학습했고, 모델의 일반 포인팅 능력을 유지하려고 이미지 포인팅 데이터(PixMo-Points, PixMo-Count, CoSyn-Point)를 25% 섞었다. 구조는 SigLIP 2 비전 인코더와 Qwen3-4B 언어 모델을 잇는 방식이다. 학습은 NVIDIA H100 80GB GPU 8장 노드에서 약 8시간 걸렸다. 추론에는 bfloat16 기준 GPU 메모리 약 20GB가 필요하다. 가중치는 Transformers 형식이 아닌 Molmo2 고유 형식의 float32 파일이다.¹

ManiFlow-tb: 실제 팔 동작을 만드는 하위 모델

ManiFlow-tb는 시뮬레이션 Franka 로봇 팔 데이터로 학습한 동작 모델이다. 블록 세 개를 집어 옮기고 제자리에서 돌리는 작업을 다룬다. 매개변수는 3억 2,250만 개이며 BF16로 저장돼 있다. 입력은 전면·그리퍼 RGB 이미지(224x224), 9차원 로봇 상태, 작업 이름, 상위 모델이 보내는 목표 히트맵 토큰이다. 출력은 9차원 절대 동작 25개 묶음이다. 추론 때 플로 매칭을 일관성 학습과 함께 써서 12단계로 처리한다.

학습은 ToyBlocks가 만든 LeRobot 데이터셋 세 개로 GPU 8장에서 20만 스텝을 돌렸다. 공개된 가중치는 마지막 스텝의 EMA 아닌 온라인 가중치다. 코드와 가중치 모두 Apache License 2.0이다.²

성능과 한계

Molmo2-4B-tb를 상위 모델로 두고 ToyBlocks 시뮬레이션에서 닫힌 루프 성공률을 쟀다. 난이도마다 에피소드 200개이며, 쉬움은 쌓기, 중간은 블록 방향 바꾸기와 쌓기, 어려움은 블록 찾기와 방향 바꾸기, 쌓기를 포함한다. 학습에서 본 블록과 보지 못한 블록을 나눠 평가했다.¹

실제 로봇에서 ManiFlow를 하위 모델로 쓰면 10회 중 60%가 성공했다. 주요 지표는 작업 성공률이며, 기술 보고서는 작업을 얼마나 효율적으로 끝내는지도 잰다고 Ai2는 밝혔다.¹

ManiFlow-tb 단독 평가는 기록된 작업에서 정답 상위 계획(oracle)을 받아 쓰는 방식이라, 수치가 하위 동작 모델만의 성능을 나타낸다. 성공은 목표 조건이 모두 충족되고 블록이 안정되며 그리퍼가 열려 있을 때로 판정했다. 검증용 128개 에피소드를 네 번 돌린 성공은 73, 75, 76, 69회로 54~59%였다. 이 중 1·2·4회차는 평가용 GPU 7장에, 3회차는 1장에 에피소드를 나눠 돌렸다.

제한 시간은 가장 긴 전문가 시연의 3배인 194초로 잡았다. 기본값 30초에서는 대부분의 에피소드가 작업을 끝내기 전에 시간 초과로 종료돼 128개 중 26~28개만 성공했는데, 이 수치는 모델이 아니라 제한 시간을 재는 셈이다. 시뮬레이션과 배치 추론이 비트 단위로 결정적이지 않아 같은 에피소드의 결과가 실행마다 달라지며, 두 실행이 일치한 에피소드는 128개 중 82~97개였다.²

써 보려면 hf download allenai/Molmo2-4B-tb와 hf download allenai/maniflow-tb로 내려받고 ToyBlocks 저장소의 추론·평가 코드를 쓰면 된다. 두 모델 모두 영어 목표를 입력으로 받으며, 안전 벤치마크는 ToyBlocks 작업과 관련이 없어 적용하지 않았다고 Ai2는 밝혔다.^1,2