Anthropic이 2026년 11월 6일 연구 글 'The components of agent memory'를 내고, Claude가 세션이 바뀌어도 지식을 이어 가는 방식을 실험으로 분석했다. 포켓몬 레드 플레이에서 메모를 거의 전부 저장한 구형 모델은 진행이 더뎠고, 꼭 필요한 내용만 남긴 모델은 훨씬 멀리 나아갔다. 1
연구는 에이전트 메모리를 '미래에 무엇이 필요할지에 대한 예측'으로 본다. 규칙을 적어 두는 것은 그 패턴이 다시 쓰이리라 예측하는 일이고, 검증된 사실을 적는 것은 다음 세션의 에이전트가 재확인 없이 그 사실에 기댈 것이라는 예측이라고 Anthropic은 설명했다. 이 글의 실험은 모두 Anthropic이 직접 수행했다. 1,2
많이 저장한 모델이 뒤처졌다
Anthropic은 포켓몬 레드로 Claude가 무엇을 저장할지 판단하는 능력을 시험했다. 각 모델은 읽고 쓸 수 있는 메모리 폴더를 받고 시작했으며, 게임을 약 10,000단계 진행한 시점에서 모델별 실행 한 번씩의 폴더를 비교했다.
Claude Sonnet 3.7은 모든 것이 중요할 수 있다고 보고 닥치는 대로 기록했다. 전투와 아이템, 만난 캐릭터마다 파일을 따로 만들어 폴더 225개에 파일 413개를 쌓았고 배지는 1개를 얻었다. Claude Fable 5는 폴더 2개에 파일 9개, 최상위 global.md 하나만 두고 배지 4개를 얻었다.
게임 상태는 계속 바뀌어 Sonnet 3.7의 상세한 기록은 금방 낡았다. 기록을 뒤지는 데 시간과 자원을 더 쓰게 됐고, 10,000단계 무렵에는 네 번째 '마스터' 메모리 폴더를 시작해 17단계 동안 파일 6개를 만들고 9개를 지우며 게임 안에서는 아무 행동도 하지 않았다. 보유 금액이나 지도상 위치처럼 매 턴 화면에서 읽을 수 있는 정보까지 저장한 점도 불필요했다.
Fable 5는 게임이 알려 주지 않는 내용, 곧 전략과 계획과 검증한 규칙만 적었다. global.md는 현재 목표, 체육관 공략 계획, 메모리 사용 규칙을 담은 대시보드 역할을 했고, locations 폴더에는 경로별 이동 계획, gameplay 폴더에는 게임 원리에 대한 전략이 있었다. 몬스터볼 7개를 연달아 던져도 잉어킹을 잡지 못하자 "If 3+ balls fail in a row, VARY the timing"이라는 규칙을 적었다. Opus 5.5도 현재 목표와 다음 단계를 적은 작은 폴더를 계속 고쳐 쓰며 게임을 끝까지 깼다. 1
다만 이 비교는 모델별로 한 번의 플레이만 대상으로 했다. 2
모델별 학습 순환과 지시 방식
연속 학습 벤치마크 CL-Bench 1.0은 장기 과제에서 메모리 활용 능력을 재는 시험이다. 데이터베이스를 찾아 질문에 답하고, 정답을 안 뒤 다음 질문을 위한 메모를 쓰는 과제를 Claude Managed Agents로 돌렸다. 매 질문은 새 세션에서 시작했고 세션 사이에 유지되는 메모리 폴더만 읽을 수 있었다. 1
| 모델 | 메모리 활용 |
|---|---|
| Claude Sonnet 4.6 | 오답 원인에 대한 가설을 세웠으나 검증하지 않은 추측이 흩어진 파일에 남음 |
| Claude Opus 4.7 | 메모를 한 문서로 합치고 확인한 사실과 미확인 사실을 구분 |
| Claude Sonnet 5 | 채점 뒤 정답을 확정 표시하고 오답이면 정정문을 작성 |
| Claude Opus 5 | 규칙과 근거, 이전 답, 함정 경고를 담아 순환을 처음으로 완결 |
| Claude Opus 5.5, Sonnet 5.5 | 순환을 완결했고 메모리 사용 점수는 Opus 5와 비슷, 메모리 없는 기본 성능은 약간 높음 |
Anthropic은 메모리가 무엇을 위한 것인지는 알려 주되 어떻게 쓸지는 지시하지 않는 편이 낫다고 밝혔다. CL-Bench에서는 메모리 폴더가 있다고만 알렸는데, Opus 4.7과 Opus 5는 이것만으로 메모리를 효과적으로 써 성능이 눈에 띄게 올랐다.
'실패만 기록하라' 같은 구체적 규칙을 하나씩 시험하자 Opus 5와 Opus 4.7 모두 메모리로 얻던 이득의 상당 부분을 잃었다. 강한 모델은 무엇이 중요한지 스스로 판단하게 두는 편이 미리 정한 규칙보다 효과적이었고, 규칙이 성능을 깎기도 했다.
반대로 구형 모델은 지시의 덕을 가장 크게 봤다. Sonnet 4.6은 메모리 파일을 읽지 않거나 가설을 검증하지 않는 일이 잦았는데, 답하기 전에 메모리를 읽고 가설을 명시적으로 검증하라고 하자 벤치마크 점수가 거의 두 배가 됐다. Sonnet 5는 지시 없이도 10번 중 9번 답하기 전에 메모리를 읽었고, Sonnet 4.6은 절반에도 못 미쳤다. 1
Dreaming으로 메모리를 고치고 다시 짓는다
Dreaming은 에이전트가 작업 사이 유휴 시간에 기록과 대화 내용을 돌아보며 실수를 바로잡고 새 메모나 표현을 만드는 과정이다. Letta와 UC Berkeley 연구진이 제안한 슬립타임 컴퓨트(sleep-time compute) 아이디어를 바탕으로 하며, 사람의 뇌가 잠자는 동안 경험을 정리하는 것에 비유된다. 1,2
포켓몬 실험에서 Claude는 포켓몬센터가 동쪽에 있다고 잘못 적었고, 센터를 나온 뒤 "Mt Moon is behind me"라고 선언하며 메모를 "Mt Moon DONE"으로 고쳤다. 실제로는 아직 산을 지나지 않았고, 몇 행동 뒤 절벽을 넘어 왔던 길로 떨어졌다. 내비게이션 도구가 낙차를 보여 주지 않아 Claude는 서쪽으로 너무 갔다고 결론 내렸다. 1
잘못된 메모를 고치지 않은 실행에서는 같은 곳으로 세 번 떨어졌다. 세 번째 뒤 Claude는 "I’m going to stop rather than keep looping"이라고 적어 포기하려 했으나 실험 환경의 자동 응답이 계속하라고 지시했다. Claude는 산 앞 마을인 회색시티까지 돌아갔고, 끝내 Cerulean City에 닿지 못한 채 실행이 끝났다. Dreaming으로 메모를 원본 기록과 대조해 고친 경우에는 Mt. Moon을 지나 Cerulean City에 도달했다. 1,2
Dreaming은 새 메모리 구조도 만든다. 위키는 Claude가 쓰고 관리하는 페이지 모음으로, 한 주제에 대한 지식을 모으고 다른 메모와 링크로 잇는다. 링크가 메모리를 훑는 지도 역할을 한다.
Anthropic은 5월에 인수한 소프트웨어 회사 Stainless의 내부 문서 약 35만 개(약 4억 2,000만 토큰)로 위키 효과를 시험했다. 이 문서에 대한 질문 25개를 만들고 검색 도구를 줬으며, Opus 5 에이전트가 128개 세션에 걸쳐 파일을 탐색하고 위키 페이지를 쓰거나 고치고 중복을 합치고 출처와 대조하게 했다. 세션은 공유 로그로 작업을 조율했고, Dreaming을 2세션에서 128세션으로 늘리자 채점 기준 충족률이 13%에서 48%로 올랐다.
위키는 검색과 함께 쓸 때 가장 도움이 됐다. 검색과 위키를 같이 쓴 종합 점수는 위키가 커지면서 54%에서 61%로 올랐고, 검색만 쓴 경우는 53%였다. 위키만 쓴 최고 점수는 48%였다. 검색과 위키를 함께 쓰면 질문당 토큰도 약 20,000개 줄었다.
어떤 과제에서 위키가 유리한지는 Harvey LAB 벤치마크와 합병 관련 문서 묶음으로 확인했다. LAB은 문서를 주고 그 내용으로 법률 의견서를 쓰게 한 뒤 기준 목록으로 채점한다. 합병 문서에 대한 24개 질문 중 절반 넘게는 여러 문서를 가로질러 찾아야 했고 판단이나 계산이 필요한 것도 많았는데, 이런 문항에서 위키를 참고한 Claude는 87%, 검색만 쓴 경우는 73%를 받았다.
반면 의견서 기준이 한 문서의 텍스트 검색만으로 나오는 LAB 과제에서는 위키가 검색보다 뚜렷이 나은 점이 없었다. 다른 LAB 과제에서는 위키가 원본 문서보다 커졌다. Anthropic은 이를 보르헤스의 단편 속 제국만큼 큰 지도에 빗대며, 아무것도 추상화하지 못한 위키였다고 평했다.
Dreaming은 중요한 메모를 메모리 위계의 맨 위로 올릴 수도 있다. 이렇게 올린 메모는 하네스가 세션 시작 때마다 Claude의 컨텍스트 창에 미리 넣어 주므로 Claude가 검색하거나 그런 메모가 있다는 사실을 알 필요조차 없다. Claude Code의 자동 메모리는 MEMORY.md의 첫 200줄 또는 25KB만 불러와 이 층을 작게 유지하고, 이 머리말이 Claude에게 무엇을 알고 어디서 찾을지 알려 주는 색인 구실을 한다.
메모리가 커지는 방식은 과제마다 지시를 달리해야 한다. 기업 인수를 모사하며 계약서를 주는 LAB 과제에서 위키를 만드는 기본 지시만 줬더니, 여러 에이전트가 계약 조건을 정리하는 공용 표에 동시에 써서 서로의 내용을 덮어썼다. 이 위키로 쓴 의견서는 57개 사실 중 41개(72%)만 담았다.
계약마다 에이전트 한 명이 별도 페이지를 쓰고 조건을 요약하지 않고 그대로 인용하도록 바꾸자, 개선된 위키로 쓴 의견서는 기준을 100% 충족해 72%에서 올랐다.
한 세션에서 메모를 쓸 때 Claude는 그 세션의 맥락만 본다. Dreaming은 여러 세션을 가로질러 공통 패턴을 찾거나 반복되는 실수를 고친다. LAB 위키를 만들 때 아직 없는 페이지로 링크를 거는 일이 있었는데 두 번째 Dreaming이 상당수를 메웠고, 한 과제에서는 없는 페이지를 가리키던 링크 9개를 같은 문서의 기존 페이지로 돌리고 색인을 포함한 새 페이지 3개를 더했다. 1
남은 쟁점과 다른 회사의 Dreaming
Anthropic은 메모리를 언제 만들지가 열린 문제라고 짚었다. 작업 중에 메모하면 중요한 내용을 현장에서 잡아 바로 쓸 수 있지만 주 작업에서 주의가 분산되고, Dreaming은 메모리 생성을 백그라운드로 미루지만 결과를 Claude가 바로 쓰지 못할 수 있다. 1
메모리를 최신으로 유지하는 일도 남은 과제다. Claude가 틀린 예측이나 처음부터 잘못된 규칙을 쓸 수 있고, 환경이 바뀌면 메모리가 낡는다. Dreaming이 오류를 고치지만 컴퓨트가 들기 때문에 모든 메모리를 계속 점검시키기는 현실적이지 않을 수 있다. Anthropic은 바뀔 가능성이 큰 정보에 집중하거나 메모리 접근 빈도에 맞춰 주기를 조절하는 방안을 제시했다. 위키 같은 표현을 유지하려면 컴퓨트가 필요하고, 오류나 환각이 쌓이지 않게 관리해야 한다는 점도 짚었다. 1,2
The Decoder는 Anthropic이 세션마다 너무 많은 메모리를 자동으로 불러오는 것도 경계한다고 전했다. 컨텍스트를 차지하고 잘못된 메모를 모든 후속 세션에 퍼뜨리기 때문이다.
Anthropic은 5월에 Dreaming을 Claude Managed Agents의 연구 프리뷰로 내놨다. 기존 메모리 저장소와 최대 100개의 과거 세션을 읽어 중복되거나 낡은 항목을 정리하고 원본은 그대로 둔 채 재구성한 저장소를 만든다. 출시 때는 Claude Opus 4.7과 Sonnet 4.6만 지원했다고 The Decoder가 전했다.
같은 이름을 다른 곳에서도 쓴다. The Decoder에 따르면 OpenAI는 6월에 개편한 ChatGPT 메모리를 'Dreaming'이라 부르며, 백그라운드에서 사용자 프로필을 유지하고 낡은 정보를 자동 수정해 시간 정확도를 52.2%에서 75.1%로 올렸다고 OpenAI가 밝혔다. Google과 Google DeepMind 연구진은 이미 저장한 결과로 대안 풀이를 모델 재호출 없이 탐색해 검색 전략을 개선하는 데 Dreaming을 쓴다. Google은 에이전트용 위키 WikiSkill도 만들었는데, 원본 기록과 정제된 지식과 구체적 지침을 층으로 나눠 두는 구조가 Anthropic과 같다. 2
출처
- The components of agent memory anthropic.com
- Anthropic says the key to agent memory is knowing what to forget, not how much to store the-decoder.com