코딩 에이전트 백업 습관 15.2%, 자동 백업 BackUpper 제안

코딩 에이전트가 후회 순간 이전에 백업한 비율은 15.2%에 그쳤다. 연구진이 최신 모델 6종을 평가한 결과, RegretBench 과제의 평균 완료율은 86.1%였다. 연구진은 작업을 잘 끝내는 능력이 백업 인식으로 이어지지 않는다고 밝혔다.

연구진은 이 문제를 재기 위해 벤치마크 RegretBench를 만들었다. 실행 가능한 과제 205개로 구성되며, 사용자가 나중에 필요해진 상태를 보존하지 않은 일을 후회한 사례를 바탕으로 했다. 사례는 GitHub, Stack Overflow 같은 플랫폼에 올라온 보고에서 가져왔다. 연구진은 백업 인식을 어떤 행동이 나중에 필요할 수 있는 상태를 바꾼다는 점을 알아보고 먼저 보존하는 능력으로 정의했다.

연구진이 제안한 BackUpper는 하네스에 끼우는 백업 계층이다. 모든 도구 호출을 검사해 상태가 바뀌기 전에 영향받는 부분을 보존한다. 흔한 작업은 규칙 기반 전략으로 처리하고, 복잡한 경우에는 가벼운 하위 에이전트가 맡는다. 하위 에이전트가 내린 판단은 시간이 지나며 규칙표에 추가될 수 있다. 어떤 변경이 후회로 이어질지 미리 예측하기 어려워 모든 호출을 검사하는 방식을 택했다고 연구진은 설명했다.

RegretBench에서 BackUpper는 후회 순간에 해당하는 모든 행동을 포괄했고, 복원한 상태는 원본과 평균 92.2% 비슷했다. 비용은 과제당 0.014달러였으며, 주 에이전트가 직접 백업하는 기준선보다 토큰이 7배 적게 들었다고 연구진은 밝혔다.

사용자가 무엇을 백업할지 선호를 정해 두면 BackUpper는 범위를 그에 맞게 좁힌다. 어떤 행동을 보존할 가치가 있는지에 대한 사람의 주석과 비교하니 F1 점수가 84.5%였다. 연구진은 이 결과가 에이전트의 행동을 낮은 비용으로 되돌릴 수 있게 하면서 사용자 선호도 존중할 수 있다는 가능성을 시사한다고 밝혔다.