GUI-JEPA, 토큰 생성 없이 행동 선택해 Qwen2.5-VL-7B 에이전트보다 최대 4.0배 빨라

연구진이 모바일 GUI 에이전트의 행동 선택 방식을 바꾼 GUI-JEPA를 arXiv에 공개했다(2026년 10월 27일 게재). 행동을 토큰 단위로 생성하는 대신, 후보 행동을 잠재 공간에서 한꺼번에 점수 매겨 고르는 구조다.

AndroidControl 벤치마크에서 GUI-JEPA는 같은 GPU에서 연구진이 같은 입력으로 미세조정한 Qwen2.5-VL-7B 에이전트보다 2.8~4.0배 빨랐다. 이 에이전트의 분포 내(in-distribution) 정확도와 비교하면 86~92% 수준이었고, 파라미터는 6%만 썼다고 연구진은 밝혔다. 코드는 공개돼 있다.

기존 모바일 GUI 에이전트는 대개 7B 규모로 미세조정한 비전 언어 모델이 행동을 글로 생성한다. 이 방식은 행동 하나를 토큰마다 디코딩해야 해 느리다. 후보 행동에 점수를 매기는 에이전트도 대규모 언어 모델이나 비전 언어 모델을 계속 거쳐 속도가 느리고 메모리를 많이 쓴다고 연구진은 지적했다.

GUI-JEPA는 라벨 없는 GUI 스크린샷으로 사전학습한 JEPA(Joint-Embedding Predictive Architecture) 인코더의 잠재 공간에서 행동을 고른다. 행동과 화면 영역을 조건으로 받는 잠재 예측기가 화면 잠재 표현을 후보 행동별 잠재 표현으로 바꾸고, 가벼운 헤드가 명령문과 대조해 모든 후보를 한 번의 배치 연산으로 점수화한다. 토큰 디코딩은 없다. 연구진은 이것이 JEPA 기반의 디코더 없는 GUI 에이전트 정책으로는 처음이라고 주장했다.

연구진은 점수 계산이 이 잠재 경로에 의존하며, 예측기가 화면 변화 예측이 아니라 행동 선택 자체를 위해 학습된다는 점도 보였다. 무작위로 초기화한 예측기가 화면 동역학으로 사전학습한 예측기와 같은 성능을 냈다.

이 수치의 비교 대상은 연구진이 직접 미세조정한 Qwen2.5-VL-7B 에이전트이고, 속도와 정확도 수치는 AndroidControl 결과다. 정확도는 분포 내 기준으로 비교 모델의 86~92%여서, 상대 비율로는 약 8~14% 낮다.