성능과 평가

장기 과제 에이전트, 실패 기록 지울 시점 정하는 RECAP 제안

장기 과제 에이전트가 실패 기록을 유지·압축·삭제할 시점을 위험을 통제하며 정하는 RECAP 프레임워크가 논문으로 공개됐다. Hunyuan-A13B에서 성공률을 유지하면서 프롬프트 비용을 2.13% 줄였다고 연구진은 밝혔다.

루카스 ·

장기 과제를 수행하는 에이전트가 쌓아 둔 실패 기록을 언제 유지하고 압축하고 삭제할지 정하는 프레임워크 RECAP이 논문으로 공개됐다. 논문은 2026년 10월 16일 arXiv에 올라왔고, 같은 기록이라도 실행이 진행되면서 가치가 달라진다는 점에서 출발한다.

연구진은 같은 이력 블록을 유지, 압축, 삭제했을 때 이후 실행이 전체 이력을 그대로 두는 방식(KEEP)보다 나아지는지를 비교했다. Hunyuan-A13B 모델에서 RECAP은 보존된 체크포인트의 43.24%를 편집하고도 KEEP이 관찰한 후속 성공률 91.89%를 맞췄다. 조건 없는 평균 후속 프롬프트 비용은 4,619.8토큰 감소했고, 비율로는 2.13% 줄었다고 연구진은 밝혔다.

작동 방식

RECAP은 세 요소를 결합한다. 첫째는 환경 상태와 롤아웃 시드를 맞춰 놓고 성공률과 후속 프롬프트 비용 차이를 재는 대조 개입이다. 둘째는 실패 블록과 현재 실행의 앞부분(prefix) 사이의 관계만 사용해 유망한 편집을 제안하는 실행 관계 예측이다. 셋째는 별도의 과제 묶음으로 정책을 고르는 독립 인증이다.

정책 선택에는 해로운 개입과 이득이 없는 개입에 대한 위험 제약이 걸리며, 측정 프로토콜은 고정된다.

실험 결과

시드 다섯 개로 진행한 종단 사례에서는 실패 블록과 그 요약문을 고정했다. 초기 상태에서는 압축이 실패했지만 이후 상태에서는 비용을 아끼는 개입이 됐다.

백본 다섯 개 전반에서 RECAP은 짝지은 성공률 기준으로 양의 절감 추정치를 냈고, 신뢰성과 효율 사이의 균형은 백본마다 달랐다. 연구진은 이 프레임워크가 다음 실행에 주는 가치에 따라 이력을 보존하는, 언제 잊을지 정하는 실행 수준의 기준이라고 설명했다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.