NVIDIA, 로봇 영상 보상·구간 분할 모델 Flora 2종 공개

NVIDIA가 로봇 조작 영상에 보상 점수를 매기는 Flora-Rewarder(Flora-rewarder-27B)와 영상 속 동작 구간을 찾아내는 Flora-TempSeg(Flora-segmenter-9B)를 Hugging Face에 공개했다. 두 모델 모두 등록일은 2026년 10월 15일이며, 모델 페이지는 같은 달 20일 16시 5분(한국 시각)에 확인됐다. Rewarder는 Qwen3.5-27B를, TempSeg는 Qwen3.5-9B를 기반으로 사후 학습했다.

사용 조건은 연구·개발 목적의 비상업 이용으로 한정된다. 라이선스는 NVIDIA OneWay Noncommercial License(2022년 3월 22일판)이고, 기반 모델인 Qwen은 Apache License 2.0이다. NVIDIA는 Flora가 GR00T-2 학습에 쓴 데이터 엔진이며, 연구자가 맞춤형 로봇 데이터셋을 키우도록 돕기 위해 공개한다고 밝혔다. 상업·실서비스용으로는 의도하지도 지원하지도 않는다고 명시했다.^1,2

Flora-Rewarder: 성공 여부와 동작 품질을 점수로

Flora-Rewarder는 보상 모델로, 두 종류의 보상을 낸다. 하나는 에피소드 전체의 성공 정도를 나타내는 결과 보상으로, 실제 배치한 로봇을 감시하는 데 쓴다. 다른 하나는 짧은 시간 단위로 동작 품질을 매기는 과정 보상으로, 강화 학습 기반 사후 학습에 쓴다. 평가 기준표(루브릭)의 단계별로 점수를 내는 방식도 지원하며, 한 모델이 여러 보상 유형을 출력한다.

출력 형식은 유형마다 다르다. 결과 보상은 1점(완전 실패)부터 5점(완전 성공)까지의 정수이며 앞에 판단 근거가 붙을 수 있다. 과정 보상은 16초 구간의 0.5초 단위마다 1(실패), 2(차선), 3(정상) 중 하나를 매기고, 구간 내 최저 점수와 정상이 아닌 단계의 근거를 함께 낸다. 루브릭 보상은 추론 과정 뒤에 단계별 점수가 하나씩 붙는다.

입력은 로봇 또는 사람 1인칭 카메라의 RGB 영상(예: mp4)과, 주석 작업과 선택적으로 과제 지시문을 적은 프롬프트다. 결과·과정 보상용 입력은 한 에피소드의 카메라 최대 4대 화면을 모자이크로 묶은 영상 하나이고, 루브릭용 입력은 카메라별 영상을 따로 받는다. 결과 보상은 에피소드 전체에서 균일하게 최대 64프레임을 뽑으며 영상 1초당 약 10프레임, 최소 2프레임이다. 과정 보상은 16초 구간에서 초당 4프레임씩 64프레임을 쓴다. 루브릭용은 카메라당 초당 1프레임, 최대 82프레임이고 프레임 하나를 65,536~131,072픽셀로 맞춘다. 프롬프트 길이는 결과·과정용이 최대 16,384토큰, 루브릭용이 최대 32,768토큰이다.

모델은 비전 언어 모델 구조다. 프레임을 인코더가 시각 토큰으로 바꾸면 프롬프트의 텍스트 토큰과 이어 붙여 디코더 언어 모델에 넣고, 디코더가 주석을 텍스트로 차례로 생성한다. 이 텍스트를 파싱해 점수로 쓴다. 학습은 비전 인코더를 포함한 전체 매개변수(270억 개)를 미세 조정하는 방식이었다.

학습 데이터는 여러 로봇 형태에서 찍은 카메라 영상과 보상 라벨의 쌍이다. 영상은 1만 시간 미만, 텍스트는 10억 토큰 미만, 학습 예시는 100만 개 미만이며 텍스트는 모두 영어다. 라벨은 사람이 쓴 주석, 데이터와 함께 기록된 자동 성공 신호, VLM이 만든 주석을 섞었다. 데이터 출처는 오픈소스 데이터셋, 업체에서 라이선스를 받은 데이터, NVIDIA가 자체 수집한 데이터다.¹

Flora-TempSeg: 긴 영상을 동작 구간으로 나눈다

Flora-TempSeg는 로봇과 사람의 조작 영상에서 의미 있는 동작이 일어난 구간을 찾는 분할 모델이다. 입력 창마다 구간의 지역 좌표와, 동작이 보이는 창 밖으로 이어지는지를 나타내는 플래그를 낸다. 파이프라인이 이 조각을 원본 영상의 시간축에 투영해 에피소드 단위 이벤트로 이어 붙이고, 각 이벤트의 동작 설명은 별도의 Flora 캡션 모델(Flora-captioner-27B)이 만든다.

학습은 두 단계다. 먼저 지도 미세 조정을 하고, 이어 검증 가능한 시간 일치 보상을 쓰는 GRPO(Group Relative Policy Optimization)로 강화 학습을 한다. 두 단계 모두 LoRA로, 언어 모델의 어텐션과 MLP 투영 층에 랭크 32, 알파 64를 적용했다. 비전 인코더를 포함한 기반 가중치는 고정했다. 기반 모델은 Qwen3.5-9B이고 모델 크기는 90억 매개변수다. 학습 데이터는 여러 로봇 형태의 영상과 사람 1인칭 손-물체 조작 영상에 하위 작업 구간을 붙인 것으로, 영상 1만 시간 미만, 예시 1,000만 개 미만이며 텍스트는 영어다.

입력은 창 단위다. 표준 창은 16초 영상에서 초당 4프레임, 64프레임을 뽑고 가운데 12초만 결과를 낸다. 양쪽 2초는 맥락용 여유 구간이다. 긴 창은 32초, 128프레임이며 가운데 24초가 결과 구간이고 양쪽 여유는 4초다. 출력 좌표는 초당 20틱(1틱 0.05초)이라 표준 창의 보이는 범위는 [0, 320), 결과 구간은 [40, 280)이고, 긴 창은 각각 [0, 640), [80, 560)이다. 연속된 표준 창은 12초씩 밀면서 맥락을 공유하며, 경계가 불확실하면 파이프라인이 어긋난 창을 따로 요청할 수 있다.

카메라가 세 대일 때는 같은 시각의 화면을 한 장으로 묶는다. 위에 주 카메라, 아래 왼쪽에 왼손목 카메라, 아래 오른쪽에 오른손목 카메라를 두고 이 배치를 프롬프트에 적는다. 프레임은 가로세로 비율을 유지한 채 카메라 한 대 기준 40,000픽셀, 세 대 모자이크는 160,000픽셀로 제한하고, 시퀀스 예산은 32,768토큰이다.

출력은 프롬프트 지시에 따라 JSON 객체 하나다. 최상위 키는 segments뿐이고 각 행에 시작 틱 s, 끝 틱 e, 왼쪽 연속 플래그 lo, 오른쪽 연속 플래그 ro가 있다. 동시에 일어난 이벤트는 겹칠 수 있으며 억지로 나누지 않는다. 창 시작 시각이 60초일 때 s=40, e=120 구간은 원본 시간 62~66초로, s=200, e=320에 ro가 참인 구간은 70~76초로 투영된다. 뒤쪽 구간의 76초는 관측된 조각의 끝일 뿐 동작이 끝난 시점으로 검증된 값이 아니다. 틱 단위는 출력 표현 방식이며 50밀리초 경계 정확도를 보장하지 않는다.²

성능 수치와 사용 조건

두 모델의 벤치마크 점수는 모델 페이지에 Flora 논문 수치로 실렸다. Rewarder 수치는 논문 Table 4와 Appendix F에서, TempSeg 수치는 Table 2에서 가져왔고 TempSeg의 벤치마크는 WGO-Bench 하나다. NVIDIA가 발표한 값이며 독립 검증 결과는 아니다.^1,2

RoboRewardBench는 사람이 1~5점으로 결과 점수를 붙인 에피소드로 이뤄져 있고, 모델 점수는 평균 절대 오차로 낸다. 표의 40.0은 이 오차에 100을 곱한 값이어서 Kendall's tau-a나 F1처럼 다른 지표의 점수와 같은 척도가 아니므로, 서로 직접 비교해서는 안 된다. RobometerBench는 분포 밖 데이터셋 여섯 개의 궤적 567개로 정책 순위를 매기며, Kendall's tau-a를 데이터셋 안에서는 과제별로, 데이터셋 사이에서는 동일 가중치로 평균한다. WGO-Bench는 사람·로봇 조작 에피소드 100개(HomER 25개, DROID 50개, Galaxea 25개)와 정답 구간 743개로 구성되며, 실제 파이프라인의 창 처리와 연속 구간 이어 붙이기를 거쳐 구간을 일대일로 맞춰 점수를 낸다. 점수는 세 하위 집합의 동일 가중 평균이다. 두 모델 모두 별도의 테스트 데이터셋 없이 이들 벤치마크로 평가했다.

실행은 PyTorch(Hugging Face Transformers)와 CUDA에서 BF16으로 하며, 테스트 하드웨어는 NVIDIA Hopper H100이다. Rewarder 페이지는 지원 마이크로아키텍처로 Ampere, Blackwell, Hopper, Lovelace를, 운영체제로 Linux를 적었다. TempSeg의 기준 디코딩은 LoRA 어댑터를 Qwen3.5-9B 기반 모델과 학습 때 쓴 프로세서에 얹어 읽고, 생각 기능을 끈 탐욕 디코딩으로 창당 최대 1,024토큰을 생성하는 것이다. 창마다 나온 JSON은 검증한 뒤 시간 투영과 이어 붙이기를 한다. 게이티드 델타넷 매개변수와 저장된 LoRA 매개변수는 FP32, 기반 가중치는 BF16으로 섞어 불러와야 한다.

NVIDIA는 두 모델의 출력이 주석일 뿐이라고 밝혔다. 로봇을 직접 제어하는 용도가 아니며, 물리 시스템의 유일한 안전 감시 장치로 쓰도록 만든 것도 아니다. 시스템에 넣을 때는 사용 사례별 데이터로 추가 시험을 해야 하며, V-모델 방식으로 단위와 시스템 수준의 반복 시험을 거치라고 안내했다. 입력 이미지와 영상에 사람이나 개인 건강 정보, 지식재산이 들어 있다면 권리와 허가를 갖춰야 하고, 모델은 이를 흐리게 처리하지 않는다.^1,2

Rewarder 페이지는 활용처로 로봇 데이터셋에 보상 주석 달기, 로봇 강화 학습용 보상 모델링, 사람에서 로봇으로의 전이 같은 연구를 들었다. 개발자에게는 로봇 파운데이션 모델 연구용 데이터 선별·필터링·모니터링 파이프라인의 시제품 제작과 평가를 권했다. 파이프라인에서는 녹화된 에피소드나 롤아웃 영상 구간을 과제 지시문과 함께 보내고, 돌아온 텍스트를 점수로 파싱해 정책 평가, 데이터 필터링, 배치 감시, 강화 학습에 쓴다.¹

두 모델은 한 파이프라인의 서로 다른 단계로 맞물린다. TempSeg가 긴 시연 영상을 하위 작업 단위로 자르고, 캡션 모델이 각 구간에 지시문을 붙이고, Rewarder가 성공 여부와 동작 품질로 걸러 내는 흐름이다. 다만 공개된 페이지에서 Rewarder와 TempSeg의 연결 방식을 직접 설명한 부분은 없어, 이 순서는 두 페이지의 파이프라인 설명을 이어 본 해석이다. 라이선스상 비상업 연구·개발 목적으로만 쓸 수 있고, 상업·실서비스용은 허용되지 않는다.^1,2