코딩 에이전트가 확장현실(XR) 애플리케이션을 얼마나 만들 수 있는지 재는 벤치마크 GenXR-Bench가 arXiv에 공개됐다(2026-10-21 게시). 연구진은 XR 소프트웨어 개발 전 과정에서 코딩 에이전트를 평가하는 첫 벤치마크라고 소개했다. 모델 10개를 평가한 결과 가장 성적이 좋은 구성도 전체 Pass@1이 50.9%에 그쳤다.
과제는 전문가가 직접 만든 112개다. 기능 구현 24개, 버그 수정 21개, 앱 생성 67개로 나뉜다. 연구진은 코딩 에이전트가 단일 파일 생성에서 저장소 단위의 장기 엔지니어링으로 빠르게 발전하고 있지만, 인터랙티브 XR 앱을 만드는 능력을 평가하는 방법은 아직 정립되지 않았다고 설명했다.
평가 방식과 검증
연구진에 따르면 XR 앱은 일반 소프트웨어와 달리 동적인 3차원 물리 환경에서 돌아가므로, 실행 중 안정성이 사용자의 연속적인 움직임, 공간 입력, 환경 감지에 함께 좌우된다. 이를 반영해 비공개 테스트는 스크립트로 짠 상호작용과 상황에 따라 달라지는 상호작용을 섞고, 프로그램 단위 검증과 시각적 검증을 함께 써서 핵심 기능과 실행 시 동작을 평가한다.
테스트 도구의 신뢰도도 측정했다. 일반 소비자용 XR 기기에서 실행한 후보 앱 124개를 전문가가 어떤 도구 결과인지 모른 채 판정했고, GenXR-Bench의 테스트는 이 판정과 96.5% 일치해 정확도를 확보했다고 연구진은 밝혔다.
실패에서 드러난 약점
연구진이 실패 사례를 분석하니 같은 유형의 오해가 되풀이됐다. 비동기 센서의 생명주기, 물리적 그라운딩, 체화된 상호작용의 의미를 제대로 이해하지 못하는 경우였다. 연구진은 GenXR-Bench가 재현 가능한 시험대 역할을 한다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.