난징대, AI 기업 SenseTime, 그 밖의 여러 대학 연구진이 스마트폰 앱을 스스로 조작하는 오픈소스 에이전트 OpenMobile-2를 공개했다. Qwen3.5 기반 90억 매개변수 모델과 Qwen3.6 기반 270억 매개변수 모델 두 가지이며, 학습 환경과 데이터, 재현 방법도 함께 내놓았다. 연구진은 이 모델이 현재 스마트폰 에이전트 가운데 최상위권이라고 밝혔다.
연구진은 같은 양의 데이터라면 학습에 쓰는 앱의 종류가 더 중요하다고 설명했다. 데이터 양은 고정하고 앱 수만 늘렸을 때, 처음 보는 앱에서의 성공률이 60.7%에서 67.5%로 올랐다.
앱 110여 개로 만든 연습장
실제 앱으로 학습하면 로그인과 실제 결제가 걸리고 상태를 되돌릴 수 없어 비용이 크고 반복하기 어렵다. 연구진은 주로 중국에서 인기 있는 Taobao, JD, DiDi, Meituan과 Slack, Google Drive 같은 글로벌 서비스를 합쳐 35개 앱을 직접 다시 만들었다. 기존 시뮬레이션과 안드로이드 에뮬레이터의 앱을 합치면 연습 대상은 110개를 넘는다.
사람 검수자가 원래 앱과 비교하며 작업 흐름과 화면이 맞을 때까지 고쳤다. 주문, 예산, 여행 계획은 세션이 바뀌어도 유지되고, 클립보드로 앱 사이에 데이터를 넘길 수 있다. 시뮬레이션은 매번 처음 상태로 자동 초기화되며, 에이전트는 사람처럼 화면 캡처만 보고 앱 내부 데이터에는 접근하지 못한다.
이 환경에서 예시 작업 흐름 약 1만 1,600개와 자동 성공 판정이 붙은 연습 과제 2,000개 이상을 만들었다. 예시는 Google의 Gemini 3.1 Pro가 교사 모델로 생성했다. The Decoder는 이를 두고 OpenMobile-2가 사실상 폐쇄 시스템에서 배우는 셈이라고 짚었다.
벤치마크 결과
벤치마크 AndroidWorld에서 큰 모델은 67.1점에서 79.9점으로, 작은 모델은 54.3점에서 74점으로 올랐다. 이전 버전 OpenMobile-1은 64.7점이었다. 여러 앱에 걸친 긴 작업을 다루는 MobileWorld에서는 큰 모델이 35.9점에서 50.4점이 됐다. 큰 모델의 79.9점은 뒤에 설명하는 강화 학습을 거친 뒤의 점수다.
실제 안드로이드 기기를 쓰는 SPA-Bench에서는 큰 모델이 31.9점에서 59.6점으로 가장 크게 뛰었다. 연구진은 이 SPA-Bench 점수가 공개 모델 중 최고라고 밝혔다. 그림 설명에 따르면 실제 기기 SPA-Bench에서 이 모델은 Gemini 3.1 Pro에만 뒤진다.
강화 학습을 더한 효과는 제한적이었다. 학습 환경과 비슷한 곳에서 주로 개선됐고, AndroidWorld에서 큰 모델은 강화 학습 전 80.8점에서 강화 학습 후 79.9점으로 오히려 조금 낮아졌다.
화면 조작과 직접 명령을 함께 쓰는 방식
시뮬레이션 앱 50개 이상은 '장바구니에 담기' 같은 직접 명령을 제공한다. 에이전트는 메뉴를 거치지 않고 이 명령을 쓰거나 기존의 탭·스와이프 방식을 상황에 따라 골라 쓴다. 별도 훈련이 없으면 모델이 이 명령을 잘 쓰지 않아 효과가 작았다. 훈련 뒤에는 최대 10.3%포인트 많은 과제를 풀었고 단계는 약 5개 줄었다. 연구진은 학습 때 보지 못한 도구에도 이 능력이 이어진다고 밝혔다.
강화 학습 단계에서는 직접 명령을 한 번 이상 쓴 실행에 도구 사용 보너스를 줬지만, 보상은 과제를 실제로 끝냈는지에 따라 정해졌다. 거짓으로 성공을 보고하면 감점했다. 이 인터페이스는 시뮬레이션 앱에만 있고, 연구진도 이 방식을 실험적이라고 평가했다.
일부 결과는 연구진이 만든 과제 215개짜리 자체 벤치마크에서 나왔고, 절반 가까이가 여러 앱에 걸친다. 언어 모델이 아니라 실행 전후 앱 저장 데이터를 비교하는 프로그램이 성공을 판정한다. 연구진은 학습 과제와 시험 과제의 중복도 점검해 약간의 유사성만 발견했다.
The Decoder는 배경으로 다른 연구와 제품도 소개했다. Microsoft Research는 2025년 연구에서 API 에이전트가 더 믿을 만하고 GUI 에이전트가 더 유연하다고 분류했으며, 모바일 앱은 외부 인터페이스가 없는 대표 사례로 꼽았다. Oppo의 공개 에이전트 X-OmniClaw는 실제 기기에서 Taobao나 Meituan 같은 앱의 이전 경로를 딥링크로 재생한다. 폐쇄 모델 쪽에서는 Google이 Gemini 3.5 Flash에 스마트폰 제어를 넣었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
