코딩 에이전트 벤치마크 SWE-Milestone, 설명에 없는 이름을 요구하는 테스트 포함 마일스톤 25개 확인

코딩 에이전트 벤치마크 SWE-Milestone의 채점 마일스톤 98개 가운데 25개에 설명에 적히지 않았고 추론도 어려운 이름이나 경로를 요구하는 테스트가 들어 있다는 분석이 나왔다. 2026년 10월 22일 arXiv에 공개된 논문의 결과다.

이런 벤치마크는 과제를 자연어로 설명하고, 채점은 원래 프로젝트의 테스트로 한다. 테스트를 통과하려면 상수 이름, 모듈 경로, 정확한 메시지처럼 설명에 없는 정보가 필요할 때가 있다. 논문은 이를 명세와 채점기 사이의 간극(specification-oracle gap)이라 부른다. 간극이 있으면 에이전트가 과제를 푸는지뿐 아니라 원본 구현의 세부를 그대로 재현하는지도 함께 측정하게 된다.

감사 방식과 SWE-Milestone 결과

연구진은 이 간극을 수식으로 정리하고, 의존 관계로 이어진 과제 사슬이 더하는 불일치까지 포함했다. 점수에 반영되는 모든 테스트의 이름·경로·리터럴 의존을 분류하는 정적 감사 도구도 5개 언어용으로 만들었다. 따로 떼어 둔 데이터에서 정밀도는 89.2%, 재현율은 92.9%였다.

SWE-Milestone에서는 공개된 35회 실행을 분석했다. 이런 의존이 있는 빌드 단위는 80.6%의 실행에서 실패했고, 없는 비슷한 단위는 48.4%였다. 기준 구현에서 숨겨진 이름 하나만 빼도 해당 단위의 테스트가 컴파일되지 않는 경우가 128건 중 126건이었다.

영향받는 테스트를 빼도 리더보드 순위는 유지됐다. 다만 저장소별 점수는 달라졌고, 원본의 이름을 그대로 재현하는 에이전트가 유리했다.

다른 벤치마크와 공개 자료

연구진은 SWE-Milestone의 리더보드 순위가 영향받는 테스트를 빼도 유지됐다고 밝혔다. 다만 해당 테스트가 저장소별 점수를 바꾸고 원본의 이름을 그대로 재현하는 에이전트에 유리하게 작용했다는 것이 연구진의 분석이다.

연구진은 감사 도구와 보정한 필터 목록, 명세 보충 자료를 공개했다.

순위가 유지됐다는 결과는 이 간극이 모델 간 우열을 뒤집지는 않았다는 뜻이다. 그러나 저장소별 점수가 움직이고 원본 이름을 따라 쓰는 에이전트가 유리하므로, 세부 점수를 비교하거나 특정 저장소 성적을 근거로 삼을 때는 명세에 없는 요구가 섞였는지 따져 볼 필요가 있다.