SWE-Ladder, 4B 모델 SWE-bench Verified 정답률 9.6%에서 16.4%로

SWE-Ladder는 소프트웨어 엔지니어링(SWE) 에이전트를 학습시키는 새 기법으로, 2026년 10월 24일 arXiv에 논문이 올라왔다. Qwen3-4B-Instruct-2507 모델에 적용한 결과 SWE-bench Verified의 pass@1이 9.6%에서 16.4%로 올랐다.

비교 대상인 GRPO는 10.4%, 정답 패치 전체를 교사에게 보여 주는 온폴리시 자가 증류(OPSD)는 12.4%였다. 이는 R2E-Gym 스캐폴드 기준이다. OpenHands 스캐폴드에서는 13.0%에서 17.6%로 올랐다.

단계별로 다른 힌트를 주는 방식

저장소 수준의 이슈를 해결하려면 에이전트가 오류가 난 코드를 찾고, 실패를 재현하고, 코드를 고쳐야 한다. 논문은 강화 학습과 OPSD 모두 위치 파악과 재현 단계에 특화된 지침을 주지 못한다고 짚었다. 강화 학습은 최종 패치의 테스트 결과 하나로 학습시키고, OPSD는 매 단계에서 정답 패치 전체를 노출한다.

SWE-Ladder는 학습 사례마다 검증된 수정 내역을 단계별 근거로 나눈다. 위치 파악에는 바뀐 파일과 줄, 재현에는 실패에서 통과로 바뀌는 테스트, 패치에는 diff를 쓴다. 규칙 기반 라우터가 롤아웃의 각 단계를 도구 호출에 따라 세 단계 중 하나에 배정하면, 고정된 교사 모델은 해당 단계의 근거만 본다. 단계는 수정 순서대로 증류하고, GRPO는 전체 궤적을 최적화한다.

R2E-Gym에서 단계 순서를 뒤집으면 pass@1이 11.4%로 떨어졌다. 원래 순서에서는 16.4%였다.