코딩 에이전트가 작업하는 도중 코드와 요구사항이 바뀌면 성공률이 크게 떨어진다는 결과가 나왔다. 연구진은 이를 측정하는 벤치마크 SWE-Shift를 논문으로 공개했다(2026년 10월 23일 게재). 평가한 17개 코딩 에이전트 시스템 모두 변경이 있는 경우의 성공률이 변경이 없는 경우보다 낮았다.
기존의 저장소 단위 코딩 벤치마크는 실행하는 동안 과제와 환경이 그대로라고 가정한다. 실제 개발에서는 에이전트가 일하는 중에도 코드, 의존성, 실행 상태, 요구사항이 바뀔 수 있다. SWE-Shift는 이런 중간 변경을 넣어 에이전트를 평가한다.
평가는 같은 저장 이력과 작업 공간에서 두 갈래로 나뉜다. 하나는 개입 없이 이어가는 Clean 방식이고, 다른 하나는 과제와 관련된 업데이트를 받는 Shifted 방식이다. 성공하려면 현재 과제를 끝내고, 아직 유효한 기존 작업을 보존하며, 해당하는 상태 검사와 근거 검사를 충족해야 한다. 벤치마크는 12개 변경 유형에 걸친 120개 시나리오로 이뤄지며, 각 시나리오를 아홉 개의 정해진 개입 시점에서 평가한다.
GPT-6 Astra는 Clean 성공률 67.35%에서 Shifted 성공률 24.79%로 떨어졌고, 두 조건을 짝지어 모두 통과한 비율은 20.34%였다.
12개 변경 유형 가운데 도구·세션 변경과 오래된 근거(stale evidence) 두 유형은 평가한 모든 시스템에서 짝지은 성공률이 0이었다. 늦은 개입 시점의 짝지은 성공률은 일부 시스템에서 더 낮고 다른 시스템에서는 더 높았다.
연구진은 변경이 없는 과제에서 성공하는 것과, 업데이트 뒤에 기존 작업을 보존하고 상태를 복구하며 근거를 새로 확인하는 것은 별개일 수 있다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.