화면 속 정확한 위치를 AI가 얼마나 세밀하게 짚는지 재는 벤치마크 PointerBench의 논문이 2026년 10월 22일 arXiv에 올라왔다. 스크린샷과 지시문 1,500쌍으로 이루어졌고, 스프레드시트의 가는 요소와 긴 문서 속 글자, 전문 애플리케이션 100종의 화면을 다룬다.1
이미지는 Hugging Face의 데이터셋으로 내려받는다. GitHub 저장소에는 평가 스크립트, 메타데이터, 릴리스 노트만 있고 PNG 스크린샷은 없다. 전체 평가를 돌리려면 Hugging Face에서 받은 이미지를 저장소와 같은 폴더 구조로 두어야 한다. 이미지와 주석은 CC BY 4.0, 평가 스크립트는 MIT 라이선스로 공개됐다.2
세 가지 하위 세트
논문은 기존 종단 벤치마크가 긴 작업을 끝까지 완수하는지에 치중하고, 그라운딩 벤치마크는 일반적인 컨트롤과 일부 전문 인터페이스에 머문다고 지적한다. PointerBench는 이 사이를 겨냥해 멀티모달 모델이 자연어 지시를 화면의 정확한 대상에 연결하는 능력을 따로 진단한다. 각 문항에는 픽셀 단위로 정해진 정답 영역이 있다.1
- PointerBench-Sheets: 스프레드시트의 가는 하위 요소를 찾고 기하학적 위치를 지정하는 세트다. GitHub 목록은 이 세트에만 500문항을 표기했고, 셀·색·머리글·가장자리·모서리·상대 위치를 다룬다.
- PointerBench-Text: 긴 문서에서 글자 단위로 위치를 지정하는 세트다. 단어, 문자, 문장부호, 캐럿 위치, 인터페이스 텍스트, 텍스트 영역, 송장 항목이 대상이다.
- PointerBench-Pro: 전문 애플리케이션 100종에서 아이콘, 텍스트, 혼합 대상을 짚는 세트다.1,2
글자 단위 지정에서 점수가 급락
연구진은 범용 멀티모달 모델과 별도로 전용 GUI 그라운딩 구성 39개를 평가했다. 가장 어려운 설정은 Text였다. Claude Fable 5, GPT-5.6 Sol, 전용 모델 중 선두인 UI-Venus-2-9B는 PointerBench 전체 평균 성공률이 각각 83.2%, 77.7%, 54.5%였지만 Text 성공률은 69.6%, 53.4%, 25.8%였다. 연구진은 최상위 모델과 전용 모델 모두 세밀한 위치 지정에서 개선 여지가 크다고 결론 내렸다.1
GitHub 리더보드에는 점수가 다르게 올라 있다. 이 리더보드는 Sheets·Text·Pro에 걸쳐 보고된 공개 평균을 기준으로 순위를 매겼다. 1위 anthropic/claude-fable-5는 Text 58.4%, 평균 78.7%다. 2위 warmwind/pointer-1.6 (agentic)은 평균 77.1%이고, 3위 claude-sonnet-4.6은 69.3%, 4위 claude-opus-4.8은 68.9%다. 화면 중앙을 클릭하는 기준선은 0.3%다.2
| 모델 | Sheets | Text | Pro | 평균 |
|---|---|---|---|---|
| anthropic/claude-fable-5 | 96.0 | 58.4 | 80.8 | 78.7 |
| warmwind/pointer-1.6 (agentic) | 87.8 | 66.8 | 76.8 | 77.1 |
| anthropic/claude-sonnet-4.6 | 82.6 | 47.8 | 77.4 | 69.3 |
| anthropic/claude-opus-4.8 | 82.2 | 44.4 | 80.2 | 68.9 |
| openai/gpt-5.6-sol-pro | 92.0 | 32.0 | 72.0 | 65.3 |
| openai/gpt-5.5 | 72.4 | 31.4 | 75.8 | 59.9 |
| x-ai/grok-4.20-multi-agent | 10.6 | 1.4 | 10.0 | 7.3 |
| qwen/qwen3.6-flash | 4.2 | 1.2 | 2.6 | 2.7 |
표에 실린 일부 모델은 Text 점수가 Sheets나 Pro보다 낮다. GPT-5.6 Sol Pro는 Sheets 92.0%인데 Text는 32.0%다. Claude·GPT 계열이 상위권을 차지했고, Grok과 Qwen 일부 모델은 평균이 한 자릿수에 머문다.
평가 방법과 참여 방식
모든 스크린샷은 1024x768이다. 모델은 이 좌표계에서 왼쪽 위를 원점으로 하는 절대 픽셀 좌표를 JSON으로 돌려줘야 한다. 점 지정 문항은 {"point": [x, y]}, 영역 지정 문항은 {"bbox": [x0, y0, x1, y1]} 형식이다. 이미지를 줄이거나 잘라 쓰면 예측을 1024x768 기준으로 되돌려야 하고, 크기 조정이나 다단계 확대 전략을 썼다면 결과와 함께 밝혀야 한다.
점 지정 문항은 예측한 점이 정답 바운딩 박스 안에 들어가면 맞는 것으로 친다. Text의 영역 지정 문항은 비대칭 기준을 쓴다. 정답 영역의 90% 이상을 덮어야 하고, 예측 영역에서 정답이 차지하는 비율도 70% 이상이어야 한다. 대상의 일부를 잘라 낸 예측이 여백을 넉넉히 두른 예측보다 훨씬 큰 감점을 받는다.
저장소에는 권장 시스템 프롬프트가 들어 있고, 각 평가 스크립트에서 --show-system-prompt 옵션으로 볼 수 있다. 좌표계와 출력 형식만 유지하면 프롬프트는 추론 환경에 맞게 고칠 수 있다. 예측은 문항당 한 줄인 JSONL로 내며, 스크립트는 파이썬 표준 라이브러리만 쓴다. 리더보드에 모델을 올리려면 Warmwind 문의 창구로 연락해야 한다.2