성능과 평가

MemScope, 에이전트 메모리 구조 일부만 고쳐 ALFWorld 성공률 50.75%→71.64%

MemScope는 배포 후 고정되던 에이전트 메모리 구조를 실행 기록과 메모리 상태를 근거로 일부 코드만 고쳐 진화시키는 기법이다. 보관된 구조 스냅샷 사이 전환에서 코드 변경 비율의 중앙값은 4.4%였고, ALFWorld 미공개 과제 성공률은 50.75%에서 71.64%로 올랐다고 연구진은 밝혔다.

루카스 ·

MemScope는 배포 후 고정되던 에이전트 메모리 구조를 실행 기록과 메모리 상태를 근거로 일부 코드만 고쳐 진화시키는 프레임워크다. 2026년 10월 15일 arXiv에 공개된 논문이 이 방법을 제안했다. 연구진은 서로 겹치지 않는(disjoint) ALFWorld 미공개 과제에서 성공률이 50.75%에서 71.64%로 올랐다고 밝혔다.

에이전트 메모리 구조는 LLM 에이전트가 과제 사이에 경험을 저장하고 다시 쓰는 방식을 정한다. 보통 배포 후에는 고정돼 과제 유형이 달라지면 적응력이 떨어진다. 실행 결과를 평가 점수나 압축 요약으로 받아 구조를 바꾸는 기존 자기 진화 방식도 있지만, 논문은 이런 피드백이 거칠다고 지적한다. 장기 과제에는 여러 구성 요소가 맞물려 있어 실패 위치를 정확히 짚기 어렵고, 코드에서 고칠 대상이 불분명해 충분히 쓸 만한 메모리 구조를 크게 다시 쓰게 되는 일이 잦다고 논문은 지적했다.

MemScope에서는 도구를 쓰는 Patch Agent가 원본 실행 기록, 실행 중 메모리 상태, 현재 구조의 코드를 함께 살펴 수리 대상을 찾는다. 이후 제공자 정체성(provider-identity) 제약과 메모리 호환성 제약 안에서 범위를 제한한 제자리 수정을 적용한다.

GAIA에서 실행 기록과 메모리 상태를 함께 본 변형은 정확도 86.67%를 기록했다. 실행 기록만 본 변형은 70.00%, 요약만 본 변형은 63.33%였다. xBench 과제에서는 진화한 메모리 구조의 정답 수가 원래 버전보다 DeepSeek V3.2에서 49개에서 55개로, Kimi K2.7 Code에서 50개에서 53개로 늘었다.

보관된 구조 스냅샷 사이의 전환에서 코드 변경 비율의 중앙값은 4.4%였다. 연구진은 이 결과가 세밀한 실행 증거를 바탕으로 메모리 구조를 일부만 제자리에서 고칠 수 있다는 근거를 뒷받침한다고 밝혔다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.