NVIDIA가 영상 클립과 문장을 같은 임베딩 공간에 넣어 검색하는 모델 nvidia/InternVideo2-CLIP-anomaly-detection을 Hugging Face에 공개했다. 창고, 매장, 도로 같은 현실 공간의 영상에서 텍스트 질의로 해당 장면을 찾거나 행동을 분류하는 용도다. 저장소는 2026-10-22(UTC)에 만들어졌고 모델 카드에는 출시일이 2026-11-03으로 적혀 있다.
사용 범위는 좁다. 비상업 연구와 개발 전용이며, 상용 제품이나 서비스에는 쓸 수 없다. 모델은 NVIDIA Internal Scientific Research and Development Model License 조건을 따르고, 배포 지역은 전 세계로 표시돼 있다. 모델 카드는 Hugging Face에만 올라왔고 NGC에는 게시되지 않았다고 밝혔다. 출력은 캡션이나 경계 상자가 아닌 임베딩이다.
구성과 작동 방식
기반은 OpenGVLab의 InternVideo2-CLIP-L14이다. NVIDIA TAO(Train, Adapt, Optimize)의 video_clip으로 미세 조정했고, 텍스트 인코더는 Apple MobileCLIP-B-LT를 수정 없이 고정해 썼다. 영상 쪽에는 LoRA를 붙였으며 대상은 마지막 12개 블록의 qkv와 proj 모듈, rank 8, alpha 16, dropout 0.05다. 전체 파라미터는 약 3.7×10^8개(373,342,467개)이고 그중 LoRA는 589,824개다.
학습에는 영상-텍스트 대조 손실과 보존 규제를 함께 썼다. 정밀도는 BF16, 최적화 알고리즘은 AdamW(학습률 1e-3, 코사인 스케줄, 워밍업 100스텝)이며 유효 배치는 64다. 학습 데이터는 NVIDIA PhysicalAI-Event-Videos의 학습 부분으로, 원본 영상 2,743개, 청크 6,059개, 캡션 85,621건이다. 영상은 1만 시간 미만이다.
입력은 클립 전체에서 균등하게 뽑은 8프레임이며 각 프레임은 224×224로 줄인다. 텍스트는 CLIP 토크나이저로 77토큰까지 처리한다. 출력은 클립 또는 문장당 512차원 벡터이고, 코사인 유사도로 순위를 매긴다. 이 값은 보정된 확률이 아니다. 오디오는 입력에 쓰지 않으며, 평가는 영어 설명으로만 했다. 다국어 품질과 다른 프레임 수·해상도의 성능은 정해지지 않았다.
서비스에 붙일 때는 영상 쪽 인코더로 클립을 미리 임베딩해 색인에 저장하고, 검색 시에는 가벼운 텍스트 인코더로 질의만 변환해 순위를 매기는 구조를 상정한다. 저장소에는 병합 가중치(model.safetensors), 병합 전 LoRA를 담은 TAO 체크포인트(model.pth), 설정 파일, FP32·FP16 ONNX 인코더와 토크나이저, SHA-256 목록이 있다.
성능 평가
검색 평가는 PhysicalAI-Event-Videos 테스트 부분의 클립 393개(원본 166개)와 영어 질의 3,040개로 했다. 질의는 이상 상황 264개, 활동 1,369개, 장소 64개, 정확한 순간 1,343개다. 인물 속성 검색 질의 3,000개는 결과에서 제외했다. 클립은 싸움, 넘어짐, 절도 같은 감시 카메라식 영상이다.
| 모델 | mAP | Hit@1 | Hit@5 |
|---|---|---|---|
| 기반 IV2CLIP-L14 | 54.34% | 50.69% | 78.49% |
| 이번 미세 조정 모델 | 63.12% | 59.11% | 87.04% |
| Qwen3-VL-Embedding-2B(제로샷) | 59.67% | 57.40% | 84.67% |
| Qwen3-VL-Embedding-8B(제로샷) | 60.58% | 58.03% | 85.26% |
질의 유형별로는 장소 질의가 mAP 99.29%, 이상 상황이 67.77%, 활동이 69.32%이고, 정확한 순간 검색이 54.16%로 가장 낮다. Hit@1은 장소 100.00%, 이상 상황 75.76%, 활동 73.70%, 정확한 순간 39.02%다. Hit@K는 상위 K개 안에 정답 클립이 하나라도 있는 질의의 비율이다.
다만 체크포인트 선택에 같은 갤러리의 이전 정답 개정본을 썼기 때문에, 이 결과는 독립적인 held-out 일반화 추정치가 아니라고 모델 카드가 밝혔다.
일반 행동 분류인 Kinetics-400 제로샷 평가에서는 소폭 하락했다. 검증 클립 19,877개로 측정한 Top-1 정확도는 69.19%로 기반 모델 기록(70.11%)보다 0.92%포인트 낮고, Top-5는 89.64%로 기반 모델 기록(89.60%)과 비슷하다. 기반 모델 수치는 기록된 동일 프로토콜 참고값이며, 모든 모델이 단일한 동일 입력 파이프라인을 거친 결과는 아니다. Qwen3-VL-Embedding-2B는 67.62%와 88.70%, 8B는 69.57%와 89.94%였다. 제로샷 모델이 Kinetics-400을 사전 학습에서 봤을 가능성은 배제할 수 없다고도 적었다. 이 평가는 병합한 LoRA 가중치(24개 모듈)를 썼고 모델을 다시 학습하지는 않았다.
실행 속도와 사용 제한
정확도는 PyTorch로, 속도는 TensorRT 10.16과 FP16 ONNX 내보내기로 쟀다. TensorRT 정확도는 평가 세트에서 벤치마크하지 않았다. 엔진 크기는 약 0.76GB이며, 측정한 엔진은 영상과 텍스트 인코더를 한 그래프로 묶어 호출마다 둘 다 실행한다.
| GPU | 배치 1 | 배치 8 | 배치 32 | 배치 1 연산(ms) | 배치 32 연산(ms) |
|---|---|---|---|---|---|
| RTX PRO 6000 Server Edition | 101.1 | 162.4 | 157.9 | 9.89 | 202.7 |
| H100 80GB HBM3 | 152.9 | 249.2 | 257.9 | 6.54 | 124.1 |
| L40S | 79.2 | 85.9 | 83.5 | 12.63 | 383.1 |
| GB300(DGX Station) | 287.2 | 511.0 | 526.8 | 3.48 | 60.7 |
두 인코더를 분리하면 더 빨라질 수 있어 분리된 ONNX 파일을 제공하지만, 분리 구성의 성능은 측정하지 않았다. CPU 처리량과 하드웨어 간 동등성도 측정하지 않았다. 도메인 검색 평가는 A100 1개로, 분산 방식의 Kinetics-400 평가는 여러 개의 A100 80GB GPU로 실행했다. 이는 평가 환경을 설명하는 것이며 추론 최소 사양은 아니라고 모델 카드가 밝혔다.
NVIDIA는 이 모델을 자율적 안전 판단 시스템으로 쓸 수 있다고 확인하지 않았다고 밝혔다. 유사도 점수는 사건이 실제로 일어났다는 증거로 해석하면 안 되며 응용 데이터로 따로 평가해야 한다. 검색 오류는 오경보나 누락을 낳을 수 있고, 임베딩 추출이 원본 영상을 익명화하지도 않는다. 사람이 찍힌 영상은 입력 권리와 허가가 있어야 한다.
상용 사용은 모델 전체의 라이선스부터 막혀 있다. 이 모델은 NVIDIA Internal Scientific Research and Development Model License 아래 비상업 연구 전용이며 상용 제품이나 서비스에는 쓸 수 없다. 구성 요소별로 보면 기반 모델은 Apache 2.0이고 CLIP 토크나이저 파일은 MIT이지만, 텍스트 인코더 MobileCLIP-B-LT에는 연구 전용인 Apple Machine Learning Research Model License가 적용된다. 모델 카드는 상용 배포가 Apple MobileCLIP 라이선스상 허용되지 않으며 별도 Apple 상용 라이선스나 대체 텍스트 인코더가 필요하다고 적었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.