에이전트 메모리

쉽게 말하면, 에이전트 메모리는 AI 에이전트가 한 번의 대화가 끝난 뒤에도 정보를 보관해 두었다가 나중에 다시 꺼내 쓰게 하는 장치다. 대규모 언어 모델은 요청마다 이전 대화를 기억하지 못하므로, 메모리가 없으면 에이전트는 대화가 끝나는 순간 모든 것을 잊는다. 메모리가 있으면 사용자의 선호와 과거 작업을 이어받고, 경험에서 배우며, 몇 시간, 며칠, 몇 주에 걸친 복잡한 작업도 이어서 수행할 수 있다.^4,6

에이전트 메모리(Agent memory)는 AI 에이전트가 하나의 컨텍스트 창을 넘어 정보를 보존하고 다시 불러올 수 있게 하는 시스템 전체를 가리킨다. 이를 통해 에이전트는 한 번의 상호작용이나 세션에서 얻은 지식, 선호, 경험을 다음 상호작용으로 가져갈 수 있다. 메모리는 단기(작업) 메모리와 장기 메모리로 나뉜다. 단기 메모리는 모델이 지금 볼 수 있는 실시간 대화 맥락이고, 장기 메모리는 외부 저장소에 기록해 두었다가 필요할 때 꺼내 쓰는 정보다. 대규모 언어 모델(LLM)은 본질적으로 상태가 없어서 이전 주고받은 기록 없이 요청을 하나씩 처리한다. 그래서 메모리는 외부 구성 요소로 따로 붙여야 한다.⁴

메모리 시스템의 설계는 인지과학과 인간 기억 연구에서 많이 가져왔다. 연구자들은 에피소드 기억, 의미 기억, 절차 기억, 작업 기억 같은 개념을 계산 틀로 옮겨, 에이전트가 과거 사건을 떠올리고, 배운 사실을 적용하고, 익힌 기술을 실행하며, 추론하는 동안 임시 정보를 붙들어 둘 수 있게 했다. 소프트웨어에서 메모리는 세 가지 핵심 기법으로 구현된다. 검색은 과거 내용을 임베딩해 벡터 데이터베이스에 두고 가장 관련 있는 조각을 찾는 것이다. 요약 또는 압축은 긴 기록을 짧은 글로 줄여 컨텍스트 창에 맞추는 것이다. 메모리 쓰기와 갱신은 무엇을 저장하고, 합치고, 고치고, 잊을지 정하는 것이다. 2025년 12월 설문 논문의 연구자들은 메모리를 파운데이션 모델 기반 에이전트의 핵심 역량이라고 부르며, 전통적인 단기·장기 분류만으로는 현대 시스템을 설명하기에 부족하다고 밝혔다.^2,3

1. 정의

에이전트 메모리는 AI 에이전트가 상호작용과 세션을 넘어 정보를 저장하고, 정리하고, 검색하는 메커니즘을 가리킨다. 가장 간단하게 생각하면, 대규모 언어 모델(LLM)은 추론을 맡고 메모리는 연속성을 준다. 상태가 없는 모델은 모든 요청을 처음 본 것처럼 다룬다. 그래서 사용자, 이전 작업, 학습한 기술을 기억하게 하는 프레임워크는 모두 어떤 형태로든 에이전트 메모리를 구현하는 셈이다. 그 형태는 롤링 채팅 버퍼, 과거 대화를 담은 벡터 데이터베이스, 지식 그래프, 디스크에 둔 일반 텍스트 메모리 파일 등 다양하다.

실제로 에이전트 메모리는 보통 두 축으로 함께 설명된다. 첫째 축은 지속 기간이다. 단기(작업) 메모리는 현재 컨텍스트 창 안에 있고, 장기 메모리는 외부 저장소에 남아 여러 세션을 넘어 살아남는다. 둘째 축은 인지 개념에서 빌려 온 구분이다. 에피소드 메모리는 구체적인 과거 사건, 의미 메모리는 안정된 사실과 선호, 절차 메모리는 익힌 기술과 작업 흐름을 담는다. 실서비스 시스템 대부분은 이 가운데 여러 유형을 동시에 조합한다.

2. 필요한 이유

대규모 언어 모델은 고정된 컨텍스트 창 안에서 텍스트를 처리한다. 컨텍스트 창은 모델이 한 번에 볼 수 있는 모든 것을 나타내는 토큰 버퍼다. 대화가 컨텍스트 창을 넘거나 세션이 끝나면 그 정보는 사라지고, 모델은 배운 것을 다음으로 가져갈 방법이 없다.

이로 인해 실질적인 문제가 몇 가지 생긴다. 이전 문의 내역을 기억하지 못하는 고객 지원 에이전트는 매번 같은 진단 질문을 되풀이한다. 어제 내린 아키텍처 결정을 잊어버리는 코딩 어시스턴트는 앞뒤가 맞지 않는 코드를 만든다. 사용자의 선호를 떠올리지 못하는 개인 비서는 두루뭉술하고 도움이 되지 않는다는 인상을 준다.

메모리는 한 번의 상호작용 중에 저장소에 정보를 쓰고, 나중의 상호작용에서 그것을 다시 읽어 와서 이 문제를 푼다. 메모리 구성 요소는 LLM과 나란히 놓여, 적절한 시점에 관련 과거 정보를 컨텍스트 창에 넣는다. 그래서 모델은 기억하는 것처럼 행동할 수 있다. 2026년 MemoryArena 벤치마크로 진행한 실험에서는 명시적 메모리 계층을 긴 문맥에만 의존하는 기준선으로 바꾸자, 서로 의존하는 다중 세션 과제에서 완료율이 80% 이상에서 약 45%로 떨어졌다. 이는 많은 실서비스 작업에서 '메모리가 있는가'와 '없는가'의 차이가 모델 백본이 서로 다를 때의 차이보다 클 수 있음을 시사한다.⁷

3. 메모리 유형

에이전트 메모리 시스템은 보통 인간의 인지 기억에 빗대어 분류된다. 가장 흔한 분류는 메모리를 단기(작업) 메모리와 여러 형태의 장기 메모리로 나누며, 장기 메모리에는 에피소드, 의미, 절차 유형이 포함된다.

3.1. 단기 메모리(작업 메모리)

단기 메모리는 작업 메모리라고도 부르며, 현재 과제에 필요한 정보를 담는다. 실제로는 한 세션 안에서 유지되는 대화 기록과 임시 메모(스크래치패드) 데이터다. 대부분의 챗봇 구현은 최근 메시지의 롤링 버퍼를 단기 메모리로 써서, 여러 턴에 걸친 대화의 일관성을 유지할 만큼의 맥락을 모델에 준다.

단기 메모리는 LLM의 컨텍스트 창에 의해 제한된다. 대화가 너무 길어지면 오래된 메시지는 잘라 내거나, 요약하거나, 장기 저장소로 옮겨야 한다. 흔한 전략은 가장 오래된 메시지를 잘라내는 방식(슬라이딩 윈도), 지금까지의 대화를 짧은 단락으로 요약하는 방식, 핵심 사실을 남기면서 덜 중요한 메시지를 골라 내보내는 방식이다.

3.2. 장기 메모리

장기 메모리는 단일 세션을 넘어 지속된다. 몇 시간, 며칠, 몇 달 전의 정보도 되살릴 수 있다. 장기 메모리는 보통 데이터베이스, 벡터 데이터베이스, 지식 그래프 같은 외부 시스템에 저장되며, 필요할 때 꺼내 쓴다.

3.2.1. 에피소드 메모리

에피소드 메모리는 구체적인 과거 사건과 경험을 기록한다. 각 항목에는 무슨 일이 있었는지, 언제 일어났는지, 그 주변의 맥락이 담긴다. 에피소드 메모리를 가진 여행 예약 에이전트는 사용자가 지난 3월 학회에 참석하려고 런던 여행을 예약했고 도심 호텔을 선호했다는 사실을 기억할 수 있다. 같은 사용자가 다른 학회 출장을 문의하면, 에이전트는 그 에피소드를 바탕으로 더 나은 제안을 할 수 있다.

Park 등(2023)의 논문 「Generative Agents」에서 에이전트는 자연어로 기록된 관찰을 시각과 함께 모은 '메모리 스트림'을 유지했다. 논문은 메모리 스트림이 에이전트 경험의 포괄적인 기록이며, 각 항목이 자연어 설명, 생성 시각, 가장 최근 접근 시각을 담는 메모리 객체라고 설명했다. 각 관찰은 1에서 10 사이의 척도로 LLM이 매긴 중요도 점수, 시각, 유사도 검색용 임베딩과 함께 저장되었다. 이 메모리 스트림은 에이전트의 에피소드 기록 역할을 해서, 의사결정을 할 때 특정한 과거 상호작용을 떠올릴 수 있게 했다.⁴

3.2.2. 의미 메모리

의미 메모리는 정의, 규칙, 사용자 선호, 분야 지식, 특정 사건에 의존하지 않는 일반 정보처럼 구조화된 사실 지식을 저장한다. 에피소드 메모리가 '무슨 일이 있었는가'라면, 의미 메모리는 '내가 아는 것'이다.

의료 보조 에이전트는 약물 상호작용 규칙, 진단 기준, 치료 지침 같은 의미 메모리를 저장할 수 있다. 개인 비서는 사용자가 채식주의자이고, 금융 분야에서 일하며, 오전 회의를 선호한다는 사실을 저장할 수 있다. 이 사실들은 특정 사건 하나에 대응하지 않고, 에이전트가 폭넓게 적용하는 안정된 지식이다.

의미 메모리는 흔히 지식 그래프, 구조화된 데이터베이스, 또는 사실을 효율적으로 검색할 수 있도록 정리한 벡터 저장소로 구현된다.

3.2.3. 절차 메모리

절차 메모리는 에이전트가 매번 처음부터 고민하지 않고 실행할 수 있는 학습된 기술, 행동 패턴, 여러 단계의 작업 흐름을 담는다. 사람에게 절차 기억은 균형을 의식하지 않고도 자전거를 타게 해 주는 기억이다. AI 에이전트에서 절차 메모리는 최적화된 도구 사용 순서, 성공적이었던 문제 해결 전략, 다듬어진 프롬프트 템플릿을 저장할 수 있다. 현재 에이전트 시스템에서 절차 메모리는 세 가지 장기 메모리 유형 가운데 가장 덜 발전했지만, 점점 주목받고 있다.

2025년 발표된 'Mem^p' 프레임워크는 에이전트가 경험에서 재사용할 수 있는 절차를 뽑아 새로운 상황에 맞게 고칠 수 있는 템플릿으로 저장하는 방법을 탐구했다. NeurIPS 2023에 발표된 Reflexion(Shinn 등, 2023)은 절차 학습의 한 형태를 보여 주었다. 에이전트가 실패한 시도에서 무엇이 잘못되었는지를 언어로 자기 성찰하여 저장하고, 이후 시도에서 그 성찰을 활용해 성능을 높였다. HumanEval 코딩 벤치마크에서 Reflexion은 pass@1 정확도 91%를 기록했다. 당시 GPT-4의 80%보다 높은 수치였다.⁸

3.3. 3차원 분류 체계

2025년 12월 발표된 설문 논문 「Memory in the Age of AI Agents」(Hu 등, 공저자 46명)는 전통적인 단기·장기 분류가 현대 에이전트 시스템에는 너무 단순하다고 주장했다. 이 논문은 다음과 같은 3차원 분류 체계를 제안했다.³

토큰 수준 메모리는 정보를 자연어 텍스트로 저장하며, 현재 에이전트에서 가장 흔한 방식이다. 매개변수형 메모리는 미세 조정을 거쳐 정보를 모델 가중치에 담는다. 잠재형 메모리는 정보를 은닉 상태나 압축된 표현으로 나타내며, 이는 사람이 직접 읽을 수 없는 형태다.³

4. 장기 메모리 저장 구조

에이전트 메모리를 구현하는 구조 패턴은 여럿 등장했다. 단순한 대화 버퍼에서 운영체제 설계에서 착안한 정교한 다층 시스템까지 범위가 넓다.

4.1. 대화 버퍼와 요약 메모리

가장 단순한 메모리 구조는 전체 대화 기록을 저장해 매 턴마다 컨텍스트 창에 넣는다. 기록이 컨텍스트 한도를 넘으면 시스템은 기록을 잘라내거나(가장 최근 N개 메시지만 남김) 요약한다. 흔히 압축(compaction)이라 부르는 요약은 핵심 정보를 남기면서 토큰 수를 줄이도록 대화를 더 짧은 글로 압축한다.

이 방식은 단순하지만 한계가 있다. 모든 정보를 똑같이 취급하고, 세션을 넘는 지속성을 위한 장치가 없으며, 대화가 길어질수록 효과가 떨어진다.

4.2. 검색 증강 메모리

검색 증강 생성(RAG) 기법은 에이전트 메모리에도 적용할 수 있다. 과거의 상호작용, 문서, 사실을 임베딩해 벡터 데이터베이스에 저장한다. 에이전트가 무언가를 떠올려야 할 때는 질의를 만들어 임베딩하고, 근사 최근접 이웃(ANN) 검색으로 의미상 가장 가까운 기억을 찾는다.

이 방식은 전체 기록 대신 가장 관련 있는 기억만 꺼내 컨텍스트 창에 넣기 때문에 규모가 커져도 잘 확장된다. 다만 임베딩 유사도에 기반한 순수 의미 검색에는 한계가 있다. 의미상 가까운 정보는 찾아내지만, 시간상 관련성, 작업에서의 중요도, 정보가 낡았는지는 반영하지 못한다.

4.3. MemGPT와 Letta 구조

Packer 등이 2023년 10월 소개한 MemGPT는 LLM의 컨텍스트 창을 전통 운영체제의 주기억장치(RAM)처럼 다루고, 외부 저장소를 디스크로 쓰는 방식을 제안했다. 논문은 핵심 아이디어를 '가상 컨텍스트 관리'로 정리했다. 이 기법은 전통 운영체제의 계층형 메모리에서 착안한 것으로, 빠른 메모리와 느린 메모리 사이에서 데이터를 옮겨 큰 메모리 자원이 있는 것처럼 보이게 한다. 에이전트에는 자기 메모리를 관리할 수 있는 함수 호출 도구가 주어진다. 에이전트는 외부 저장소를 읽고 쓰고, 계층 사이로 정보를 옮기며, 제한된 컨텍스트 창에 무엇을 남길지 정한다.⁵

MemGPT가 실서비스용으로 발전한 Letta 플랫폼은 이 구조를 여러 개의 뚜렷한 메모리 구성 요소로 구현한다.⁹

Letta에서 에이전트는 도구 호출로 자기 메모리를 직접 고친다. core_memory_append와 core_memory_replace는 코어 메모리의 이름표가 붙은 블록을 다시 쓰고, conversation_search는 리콜 저장소를 검색하며, archival_memory_insert와 archival_memory_search는 장기 아카이벌 저장소를 관리한다. 컨텍스트 창이 가득 차면 Letta는 요약과 축출(eviction)을 적용한다. 보통 메시지의 70%가 제거되고, 축출된 메시지는 재귀적으로 요약된다. 오래된 내용일수록 점점 더 강하게 압축된다. 에이전트는 필요할 때 축출된 정보도 리콜이나 아카이벌 메모리에서 검색해 가져올 수 있다.⁹

Letta는 또한 '수면 시간 연산(sleep-time compute)'을 도입했다. 이는 백그라운드 에이전트가 유휴 시간에 메모리를 처리하는 방식이다. 사용자와 상호작용하는 사이 시스템을 유휴 상태로 두지 않고, 메모리를 비동기로 다듬고, 통합하고, 재구성한다. 이 구조는 사용자와 직접 대화하는 주 에이전트와, 컨텍스트 내 메모리의 편집 도구를 맡은 수면 시간 에이전트를 분리한다. 이로써 메모리 관리를 응답 지연에 민감한 상호작용과 떼어 낸다. 2025년 4월 백서에 보고된 한 소프트웨어 공학 수리 벤치마크에서, 수면 시간 연산은 쿼리당 평균 토큰을 약 3,000개 적게 쓰면서도 더 나은 수리 계획을 만들었다.¹⁰

4.4. 지식 그래프 메모리

그래프 기반 메모리 시스템은 정보를 지식 그래프의 노드와 간선으로 저장한다. 그래서 개체, 관계, 그리고 시간에 따라 그것들이 어떻게 바뀌는지를 담을 수 있다. 이 방식은 정보의 내용만이 아니라 구조까지 표현하기 때문에 단순한 벡터 저장소보다 유리한 점이 있다.

Zep AI가 개발한 Zep은 Neo4j가 뒷받침하는 오픈소스 시간 지식 그래프 엔진 Graphiti를 써서 에이전트 메모리를 유지한다. 정적 지식 그래프와 달리 Graphiti는 사실이 시간에 따라 어떻게 바뀌는지 추적하고, 메모리를 원본 데이터와 잇는 출처 정보를 유지하며, 미리 정의된 온톨로지 구조와 학습된 온톨로지 구조를 모두 지원한다. Deep Memory Retrieval(DMR) 벤치마크는 MemGPT 팀이 원래 쓰던 지표다. Zep은 이 벤치마크에서 정확도 94.8%를 기록했다고 밝혔고, 같은 지표에서 MemGPT는 93.4%였다. LongMemEval 벤치마크에서는 정확도가 최대 18.5% 향상되고 응답 지연은 90% 줄었다고 밝혔다.¹¹

Neo4j Labs는 AI 에이전트를 위한 그래프 네이티브 메모리 시스템도 공개했다. 이 시스템은 세 가지 메모리 유형을 결합한다. 대화 기록을 담는 단기 메모리, 개체와 학습된 선호를 담는 장기 메모리, 의사결정 흔적과 도구 사용 감사 기록을 담는 추론 메모리다.¹²

Microsoft Research의 GraphRAG 프로젝트는 2024년에 공개되었고 MIT 라이선스로 오픈소스화되었다. 이 프로젝트는 평면적인 임베딩 대신 계층형 그래프 구조로 검색하는 방식을 대중화했다. 텍스트 말뭉치에서 지식 그래프를 만들고, 노드 묶음을 요약한 뒤, 실행 시 그 요약을 조회한다. Microsoft는 기준선인 벡터 검색과 비교해 답변의 포괄성이 26% 향상되었다고 보고했다. 자사 기업용 벤치마크에서는 정확도가 86%로, 기준선 벡터 RAG의 32%보다 높았다고 밝혔다. 원래 GraphRAG의 인덱싱 파이프라인은 대규모 말뭉치에서 실행 비용이 많이 들었다. Microsoft는 2025년 6월 LazyGraphRAG를 공개해 인덱싱 비용을 원래 GraphRAG 비용의 약 0.1% 수준으로 줄였다. 이런 그래프 접근법은 여러 세션이나 문서에 걸친 다중 홉 추론(multi-hop reasoning)에 최적화된 장기 저장소로서 에이전트 메모리 스택에 편입되었다.¹³

4.5. 에이전틱 메모리(A-MEM)

A-MEM(Xu 등, 2025)은 NeurIPS 2025에 발표된 논문으로, 노트 작성법인 Zettelkasten에서 영감을 받은 에이전트 메모리 시스템을 제안했다. 새 메모리가 추가되면 시스템은 원본 내용, 시각, LLM이 만든 키워드와 태그, 맥락 설명, 밀집 임베딩, 기존 관련 메모리로의 링크를 담은 구조화된 '노트'를 생성한다.

이 시스템은 ChromaDB를 저장소로 쓰며, 공유 속성을 바탕으로 메모리 사이의 연결을 자동으로 만든다. 구조가 고정된 메모리 시스템과 달리 A-MEM은 체계가 내용 자체에서 드러나도록 한다. 새로운 경험이 추가 맥락을 줄 때마다 기존 기억도 갱신되고, 상위 수준의 속성은 상호작용이 이어지면서 만들어진다. 논문은 여섯 개 파운데이션 모델 전반에서 기존 최고 수준 기준선보다 성능이 향상되었다고 보고했다.¹⁴

4.6. 다중 요인 점수화

Park 등(2023)이 제안한 생성형 에이전트 프레임워크는 세 가지 요인을 결합한 검색 함수를 도입하였다. ⁴

최종 검색 점수는 retrieval_score = recency + importance + relevance로 계산되며, 각 요인은 최소-최대 스케일링(min-max scaling)으로 정규화된다. 이 방식은 최신성, 중요도, 관련성이 높은 메모리가 우선되도록 하되, 매우 중요한 오래된 메모리라도 현재 상황과 관련이 있다면 여전히 검색될 수 있도록 한다. ⁴

4.7. 반성(reflection)과 상위 수준 검색

Park 등은 검색 메커니즘으로 '반성(reflection)'도 도입하였다. 주기적으로(시뮬레이션 하루에 약 2~3회) 에이전트는 최근 관찰을 종합하여 상위 수준의 통찰을 생성한다. 예를 들어 이웃의 행동에 대한 여러 관찰이 쌓이면, 에이전트는 '클라우스는 사진 촬영에 매우 관심이 많은 것으로 보인다'라는 반성을 생성할 수 있다. 이러한 반성은 새로운 메모리로 저장되며 그 자체로 다시 검색될 수 있어, 추상화의 계층이 쌓이게 된다. ⁴

5. 검색할 메모리 고르기

에이전트가 어떤 메모리를 꺼낼지 정하는 일은 어떻게 저장하느냐만큼 중요하다. 가장 최근의 것이나 의미상 가장 비슷한 것만 꺼내는 단순한 방식은 중요한 정보를 놓치는 경우가 많다. 더 정교한 시스템은 여러 신호를 함께 쓴다.

Park 등(2023)의 「Generative Agents」는 세 가지 요인을 결합한 검색 함수를 도입했다.⁴

최종 검색 점수는 아래 식으로 계산되며, 각 요인은 min-max 스케일링으로 정해진 범위에 맞춰 정규화된다.⁴

retrieval_score = recency + importance + relevance

이 방식은 최근의 중요하고 관련 있는 메모리를 우선하되, 오래되었더라도 매우 중요하고 현재 상황과 관련이 있으면 여전히 떠오를 수 있게 한다.

Park 등은 검색 방식으로 '성찰(reflection)'도 도입했다. 시뮬레이션 하루에 두세 번쯤 주기적으로 에이전트는 최근 관찰을 종합해 더 높은 수준의 통찰을 만든다. 예를 들어 이웃의 행동을 여러 번 본 뒤 에이전트는 '클라우스는 사진에 아주 관심이 많은 것 같다'는 성찰을 만들 수 있다. 이런 성찰은 새 메모리로 저장되어 다시 검색될 수 있으므로, 추상화의 층이 쌓인다.⁴

CrewAI의 메모리 시스템은 두 가지 검색 모드를 구현한다. 얕은 검색(약 200밀리초)은 복합 점수를 적용한 직접 벡터 검색을 수행한다. 기본 모드인 깊은 검색은 질의 해석, 범위 선택, 메모리 가지별 병렬 검색, 신뢰도 기반 라우팅을 포함한 다단계 분석을 거친다. 200자 미만의 질의는 이미 효과적인 검색 문구 역할을 하므로 LLM 분석을 거치지 않는다.¹⁵

효과적인 메모리 검색은 올바른 정보를 찾는 것만큼 잘못된 정보를 걸러내는 데에도 달려 있다. 능동적 망각이 없으면 메모리 저장소에는 중복되고, 낡고, 부정확한 항목이 쌓여 시간이 지날수록 에이전트 성능을 떨어뜨린다. 이 현상은 '컨텍스트 오염' 또는 '메모리 팽창'이라고도 불리며, 저장소에서 가져온 오래된 정보가 낡은 전제로 에이전트의 맥락을 흐릴 때 생긴다. 능동적 망각 전략에는 시간 기반 감쇠(최근 접근되지 않은 메모리의 가중치를 낮춤), 통합(비슷한 메모리를 하나의 항목으로 합침), 에이전트나 사용자가 틀렸다고 표시한 정보의 명시적 삭제가 있다.

5.1. 능동적 망각

효과적인 메모리 검색은 올바른 정보를 찾는 것뿐 아니라 잘못된 정보를 걸러내는 것에도 달려 있다. 능동적 망각이 없으면 메모리 저장소에는 중복되고, 낡았거나, 부정확한 항목이 쌓여 시간이 지날수록 에이전트 성능을 떨어뜨린다. '컨텍스트 오염(context pollution)' 또는 '메모리 팽창(memory inflation)'이라고도 불리는 이 현상은, 저장소에서 검색된 낡은 정보가 에이전트의 컨텍스트를 오래된 가정으로 오염시킬 때 발생한다.

능동적 망각 전략에는 시간 기반 감쇠(최근 접근되지 않은 메모리의 가중치를 낮춤), 통합(유사한 메모리를 하나의 항목으로 병합), 그리고 에이전트나 사용자가 잘못되었다고 표시한 정보의 명시적 삭제가 포함된다.

6. 프레임워크별 메모리 구현

대부분의 주요 에이전트 개발 프레임워크는 이제 메모리를 핵심 구성 요소로 포함한다. 아래 표는 몇 가지 주요 프레임워크가 메모리를 어떻게 다루는지 요약한다.

LangGraph는 LangChain의 기존 메모리 클래스를 대체해, 대화 스레드 전반의 지속성을 내장한 체크포인트 시스템을 제공한다. 단기 메모리는 스레드 단위 체크포인트로 관리되고, 장기 메모리는 시맨틱 검색을 켠 상태로 저장하는 LangMem SDK를 쓴다. LangMem은 어떤 저장 백엔드와도 함께 쓸 수 있고 LangGraph의 메모리 저장소와 네이티브로 통합된다. 이 SDK는 시맨틱, 에피소드, 절차 메모리를 위한 통합 API를 제공하며, 대화를 분석해 무엇을 저장, 갱신, 삭제할지 정하는 메모리 관리자를 포함한다. 2026년 6월 기준 LangMem은 여전히 1.0 이전 SDK(최신 릴리스 0.0.30)이며, 누적 PyPI 다운로드는 수백만 회에 이른다. DeepLearning.AI의 「LLMs as Operating Systems: Agent Memory」 강의는 LangGraph의 메모리 접근법을 자세히 다룬다.^16,17

CrewAI는 이전에 따로 있던 단기, 장기, 엔티티, 외부 메모리 유형을 버전 1.10에서 하나의 통합 Memory 클래스로 합쳤다. 내용을 저장할 때 LLM이 이를 분석해 범위, 범주, 중요도를 자동으로 추론한다. 이 분석은 MemoryAnalysis 클래스가 맡으며, 이 클래스에는 0에서 1 범위의 중요도 필드가 있다. 검색은 의미 유사도, 최근성(기본 반감기 30일의 지수 감쇠), 중요도 점수를 결합한다.¹⁵

크루의 모든 에이전트는 기본적으로 크루의 메모리를 공유한다. 각 작업이 끝나면 크루는 결과에서 개별 사실을 자동으로 뽑아 저장하고, 각 작업이 시작되기 전에는 관련 맥락을 메모리에서 불러와 작업 프롬프트에 넣는다. 에이전트는 개인정보 보호를 위해 범위가 제한된 뷰를 받을 수도 있어, 특정 메모리 가지로만 접근을 좁힐 수 있다.

Mem0는 AI 에이전트를 위한 전용 메모리 레이어 플랫폼이다. 대화 기록을 최적화된 메모리 표현으로 압축해, 맥락을 유지하면서 토큰 사용량과 지연을 줄인다. 벡터 저장소, 그래프 서비스, 리랭커를 관리형 서비스로 묶어 제공한다.¹⁸

2025년 10월까지 Mem0는 시드와 시리즈 A를 합쳐 2,400만 달러를 조달했다. Kindred Ventures와 Basis Set Ventures가 주도했고, Peak XV Partners, GitHub Fund, Y Combinator가 참여했으며, Scott Belsky와 Dharmesh Shah가 전략적으로 투자했다. 회사는 GitHub 스타 4만 1,000개와 다운로드 1,400만 회를 기록했고, API 호출은 2025년 1분기 3,500만 건에서 3분기 1억 8,600만 건으로 늘었다고 밝혔다. AWS는 자사 Agent SDK의 메모리 제공자로 Mem0를 선택했다.¹⁹

2025년 4월 arXiv에 발표되고 ECAI 2025에 채택된 연구 논문은 LoCoMo 벤치마크에서 Mem0가 LLM 평가자 지표에서 OpenAI 대비 26% 상대적 향상을 이뤘다고 보고했다. 선택적 검색 파이프라인은 p95 지연을 91%(1.44초 대 17.12초) 줄였고, 전체 문맥을 프롬프트에 넣는 방식과 비교해 토큰 비용을 90% 넘게 줄였다.¹⁸

6.1. ChatGPT (OpenAI)

OpenAI는 2024년 2월 ChatGPT에 메모리 기능을 도입했으며, 2025년 내내 이를 확장했다. ChatGPT의 메모리는 두 가지 메커니즘으로 작동한다. 하나는 사용자가 ChatGPT에 명시적으로 기억하도록 요청하는 '저장된 메모리(saved memories)'이며(예: '나는 채식주의자라는 것을 기억해 줘'), 다른 하나는 ChatGPT가 과거 대화에서 얻은 통찰을 활용해 향후 응답을 개선하는 '채팅 기록' 참조이다. ²⁰

2025년 4월 10일 OpenAI는 ChatGPT가 과거의 모든 대화를 참조하여 더 맥락에 맞는 응답을 제공할 수 있다고 발표했다. 이 기능은 처음에는 대부분의 지역에서 Plus 및 Pro 구독자에게 제공되었으며, 영국, 유럽경제지역(EEA), 아이슬란드, 리히텐슈타인, 노르웨이, 스위스는 제외되었다. 2025년 6월까지 메모리 개선 사항은 무료 사용자에게도 제공되기 시작했으며, 무료 사용자에게는 단기 연속성을 제공하는 경량 버전이 적용되었고, Plus 및 Pro 사용자는 장기 버전을 유지했다. ²¹

사용자는 설정에서 개별 저장된 메모리를 보거나, 편집하거나, 삭제하거나, 기능 자체를 완전히 끌 수 있다. 저장된 메모리는 설정 → 개인화 → 메모리 패널에서 확인할 수 있으며, 채팅 기록 참조 계층은 런타임에 추론되므로 고정된 목록으로 표시되지 않는다. ²⁰

7. 상용 AI 비서의 메모리 활용

주요 공급사의 소비자용 AI 비서는 지속 메모리 기능을 도입해, 별도의 대화 사이에서도 사용자의 선호와 과거 상호작용을 기억하게 했다.

OpenAI는 2024년 2월 ChatGPT에 메모리를 도입했고 2025년 내내 기능을 넓혔다. ChatGPT의 메모리는 두 가지 방식으로 작동한다. 하나는 사용자가 명시적으로 기억하라고 요청한 '저장된 메모리'(예: '나는 채식주의자라는 것을 기억해 줘')다. 다른 하나는 '대화 기록' 참조로, ChatGPT가 과거 대화에서 얻은 통찰을 이후 응답 개선에 활용한다.²⁰

2025년 4월 10일 OpenAI는 ChatGPT가 맥락 있는 응답을 위해 과거의 모든 대화를 참조할 수 있다고 발표했다. 처음에는 대부분의 지역에서 Plus와 Pro 구독자에게 출시되었고, 영국, 유럽경제지역(EEA), 아이슬란드, 리히텐슈타인, 노르웨이, 스위스는 제외되었다. 2025년 6월에는 메모리 개선이 무료 사용자에게도 확대되기 시작했다. 무료 사용자는 단기 연속성을 주는 가벼운 버전을, Plus와 Pro 사용자는 장기 버전을 유지했다. 사용자는 설정에서 저장된 메모리를 개별적으로 보고, 편집하고, 삭제하거나 기능 전체를 끌 수 있다. 저장된 메모리는 설정, 개인화, 메모리 패널에서 검토할 수 있다. 참조 대화 기록 계층은 실행 시점에 추론되며 고정된 목록으로 표시되지 않는다.^20,21

Anthropic는 2025년 8월 11일 Claude에 메모리를 도입했다. 처음에는 Team과 Enterprise 요금제에만 제공했고, Claude는 사용자가 명시적으로 물을 때만 세부 내용을 떠올렸다. 이 기능은 과거 상호작용에서 '메모리 요약'을 만들고, '역할과 업무', '현재 프로젝트', 개인 선호 같은 범주로 정리한다. 2025년 10월에는 자동 메모리가 Pro와 Max 구독자로 확대되었다. 설정에서 직접 켜는 옵트인 방식이었고, Max 사용자는 즉시 이용할 수 있었으며 Pro 구독자는 며칠 뒤 순차적으로 이용할 수 있게 되었다. Claude의 메모리는 2026년 3월 무료 사용자에게도 확대되었다.^22,23

Anthropic는 2025년 9월 29일 Claude API에서 Memory 도구를 베타로 출시했다. 필요한 순간에 맥락을 가져오는 기본 요소로, Claude 기반으로 개발하는 사람이 자기 애플리케이션에 지속 메모리를 구현할 수 있게 한다. Memory 도구는 파일 시스템 기반이어서 메모리가 파일로 저장되고, 개발자는 API를 통해 이를 내보내거나 편집하거나 관리할 수 있다.²⁴

Google은 2025년 2월 Gemini에 수동으로 켜는 '메모리' 기능을 추가했다. 2025년 8월 13일 업데이트로는 '개인 맥락(Personal Context)'이라는 이름의 자동 메모리가 도입되어 기본으로 켜졌다. 사용자의 명시적 요청 없이도 Gemini가 과거 대화에서 배울 수 있게 되었다. 시스템은 핵심 사용자 사실을 'user_context'라는 구조화된 문서에 담는다. 이 문서는 주제별로 정리된 짧은 사실 항목들로 구성된다. Google은 또 '임시 채팅' 기능을 출시했는데, 대화를 72시간 뒤 자동 삭제하고 개인화나 모델 학습에서 제외한다. 2025년 8월 출시는 처음에 일부 지역에서 Gemini 2.5 Pro를 사용했고, 유럽경제지역, 스위스, 영국에서는 제공되지 않았다. 18세 미만 사용자나 직장 또는 학교 계정으로 로그인한 사용자에게도 제공되지 않았다.²⁵

Amazon Web Services는 2025년 7월 뉴욕 AWS 서밋에서 Bedrock AgentCore의 일부로 Amazon Bedrock AgentCore Memory를 공개했다. 기업용 에이전트 배포를 위한 관리형 메모리 인프라다. 이 서비스는 세션 안의 단기 메모리를 원시 이벤트로 저장하고, 비동기 백그라운드 프로세스로 단기 이벤트에서 장기 메모리(요약, 사실, 선호)를 추출한다. 장기 메모리는 세션을 넘어 지속되며 에피소드, 의미, 사용자 선호 범주를 지원한다.²⁶

7.1. Amazon Bedrock AgentCore Memory

Amazon Web Services는 2025년 7월 뉴욕시 AWS 서밋에서 Bedrock AgentCore 플랫폼의 일부로 AgentCore Memory를 공개했으며, 이는 기업용 에이전트 배포를 위한 관리형 메모리 인프라를 제공한다.

이 서비스는 단기 메모리를 세션 내 원시 이벤트로 저장하고, 비동기 백그라운드 프로세스를 실행하여 단기 이벤트로부터 장기 메모리(요약, 사실, 선호)를 추출한다. 장기 메모리는 세션을 넘어 유지되며 에피소드형(episodic), 의미형(semantic), 사용자 선호(user-preference)의 세 범주를 지원한다. ²⁶

8. 멀티 에이전트 시스템의 메모리

여러 에이전트가 함께 작업할 때 메모리는 조율 장치가 된다. 에이전트는 관련 정보를 공유하고, 작업이 중복되지 않게 하며, 공유된 작업 상태에 대한 일관된 이해를 유지해야 한다.

1980년대 전문가 시스템을 위해 처음 제안된 블랙보드 아키텍처는 LLM 기반 멀티 에이전트 시스템에 맞게 변형되었다. 여러 에이전트가 공유 메모리 공간(블랙보드)을 읽고 쓰며, 제어 구성 요소가 현재 상태를 보고 다음에 행동할 에이전트를 정한다. 에이전트가 개별 사본을 두지 않고 하나의 메모리 풀을 공유하므로 토큰 사용량이 줄어든다. 2025년 발표된 「LLM-based Multi-Agent Blackboard Systems」 연구는 정보 탐색 과제에서 이 패턴을 보여 주었다.

2025년 「Collaborative Memory」 논문은 다중 에이전트 메모리 공유를 위한 동적 접근 제어를 소개했다. 운영체제의 파일 권한과 비슷하게, 에이전트마다 공유 메모리의 서로 다른 부분에 서로 다른 수준으로 접근하도록 한다. 이로써 민감한 정보는 그것이 필요한 에이전트에게만 공유될 수 있다.

CrewAI 같은 프레임워크에서는 크루 안의 모든 에이전트가 기본적으로 크루의 메모리 풀을 공유한다. 프레임워크는 각 에이전트의 작업 출력에서 사실을 자동으로 추출해 이후 에이전트가 쓸 수 있게 한다. 개별 에이전트는 다른 크루 구성원에게 보이지 않는 비공개 메모리 범위를 유지할 수도 있어, 일부 지식은 공유하고 일부는 비공개로 두는 혼합 구조가 가능하다.

8.1. 크루 수준의 메모리 공유

CrewAI와 같은 프레임워크에서는 '크루(crew)'에 속한 모든 에이전트가 기본적으로 크루의 메모리 풀을 공유한다. 프레임워크는 각 에이전트의 작업 출력에서 사실을 자동으로 추출하여 이후 에이전트들이 이용할 수 있도록 한다. 개별 에이전트는 다른 크루 구성원에게 보이지 않는 비공개 메모리 범위를 유지할 수도 있어, 일부 지식은 공유되고 일부는 비공개로 남는 하이브리드 구조가 가능해진다.

9. 인지과학과의 관계

에이전트 메모리의 설계는 수십 년에 걸친 인지심리학과 인지 아키텍처 연구에서 가져왔다.

에이전트 메모리를 에피소드, 의미, 절차 유형으로 나누는 방식은 Endel Tulving이 1972년에 제안한 인간 장기 기억 분류를 따른다. Tulving은 에피소드 기억(시간과 장소에 묶인 개인적 경험)과 의미 기억(개인 경험과 무관한 일반 세계 지식)을 구분했다. 절차 기억, 즉 기술을 수행하는 방법에 대한 지식은 같은 시기 다른 연구자들에 의해 별도의 체계로 규정되었다. 이런 구분은 에이전트 설계에 유용하다는 것이 입증되었다. 정보 유형마다 저장 형식, 검색 전략, 갱신 규칙이 다르기 때문이다.

SOAR(State, Operator, And Result)와 ACT-R(Adaptive Control of Thought, Rational) 같은 고전 인지 아키텍처는 현대 에이전트 메모리 설계에 영향을 주었다. SOAR는 John Laird, Allen Newell, Paul Rosenbloom이 카네기멜런대학교에서 만들었다. 두 아키텍처 모두 별도의 메모리 모듈을 갖는다. 과제 관련 상태를 담는 작업 메모리, 추론을 지배하는 규칙과 연산자를 담는 절차 메모리, 사실과 사건을 담는 선언적 메모리다.

SOAR는 군사 시뮬레이션과 게임 AI에 쓰였다. ACT-R은 심리학에 근거한 접근으로, 사람이 문제를 풀고 지식을 유지하는 방식을 모델링한다. 메모리는 모듈식이어야 하고 서로 다른 저장소가 서로 다른 기능을 맡아야 한다는 원칙은 LLM 기반 에이전트 아키텍처로 그대로 이어졌다.

인간의 인지에서 수면은 기억 공고화에 역할을 한다. 뇌는 휴식 중에 기억을 걸러내고, 재배열하고, 강화한다. Letta의 수면 시간 연산 기능은 이 과정을 본뜬 것으로, 유휴 시간에 메모리를 통합하고 낡은 항목을 정리한다. Anthropic은 'Claude Dreaming'이라 부르는 유사한 메커니즘을 도입했다. 관리형 에이전트를 위한 예약 검토 과정으로, 과거 세션을 읽고 유용한 패턴을 뽑아 다음 대화가 시작되기 전에 통합된 메모리를 쓴다. 실험 기능인 Claude Code의 'auto dream' 모드는 같은 아이디어를 코딩 에이전트에 적용한다.^10,27

10. 긴 컨텍스트 창과 명시적 메모리

컨텍스트 창이 100만 토큰 이상으로 커지면서 명시적 메모리가 언제 이득이 되는지에 대한 계산이 바뀌었다. Gemini 2.5 Pro는 표준 모드에서 최대 100만 토큰을, 확장 모드에서 200만 토큰을 처리한다. Google이 needle-in-a-haystack 테스트에서 보고한 수치로는 약 53만 토큰까지 100% 회수율을 보였고, 100만 토큰에서는 99.7% 회수율이었다. 다만 실제 정확도는 약 80만 토큰을 넘으면 떨어진다. 전체 기록이 컨텍스트 안에 들어가는 작업에서는 긴 컨텍스트가 외부 메모리 저장소를 대신할 수 있다.²⁸

Mem0의 2025년 논문은 LoCoMo 벤치마크에서 이 상충 관계를 수치로 비교했다. 전체 문맥을 프롬프트에 넣은 방식은 정확도 72.9%, p95 지연 17.12초, 대화당 약 26,031토큰이었다. Mem0의 선택적 외부 메모리는 정확도 66.9%, 지연 1.44초, 약 1,764토큰이었다. 정확도가 6%포인트 낮아지는 대가로 지연은 91%, 토큰 비용은 93% 줄어든 것이다. 실무자들은 이 선택을 작업 특성에 따라 점점 달리 보고 있다. 짧고 지연에 민감한 상호작용에는 선택적 메모리가, 코드베이스 전체나 긴 법률 문서, 여러 시간짜리 녹취록 같은 대량의 일회성 분석에는 긴 컨텍스트가 유리하다.^18,29

관련 비용 최적화로 프리픽스 캐싱이 있다. vLLM, SGLang, TensorRT-LLM을 비롯해 거의 모든 최신 추론 실행 스택에 들어 있으며, 공통 프롬프트 접두부를 공유하는 요청끼리 KV 캐시 블록을 재사용한다. 에이전트가 같은 시스템 프롬프트, 페르소나 블록, 공유 문서를 여러 턴에 걸쳐 재사용하면 프리픽스 캐싱은 턴당 실효 비용을 자릿수 단위로 줄일 수 있다. 이로써 '모델의 컨텍스트'와 '캐시에 기댄 메모리' 사이의 경계가 흐려진다.³⁰

11. 2025~2026년의 발전

2025년과 2026년 사이에 에이전트 메모리는 연구 대상에서 소비자와 기업 제품에 일상적으로 탑재되는 구성 요소가 되었다. 동시에 초기 프로토타입이 드러내지 못한 보안과 개인정보 문제도 떠올랐다.

주요 서구 소비자 비서 세 곳 모두 2025년에 자동적이고 대화를 넘나드는 메모리를 출시했다. ChatGPT가 과거 모든 대화를 참조하도록 확장된 것은 2025년 4월 10일이었고, Gemini의 '개인 맥락' 자동 메모리는 2025년 8월 13일 출시되었다. Claude의 메모리는 2025년 8월 11일 Team과 Enterprise용으로 출시되었고, 2025년 10월 23일 Pro와 Max로 확대되었으며, 2026년 3월에는 무료 사용자에게도 도달했다. 각 서비스는 메모리를 보고, 편집하고, 끌 수 있는 설정을 제공한다.^21,22,23,25

Claude Code는 평문 메모리 파일을 에이전트 루프의 일급 요소로 만들었다. 각 Claude Code 프로젝트는 모델 호출 전에 CLAUDE.md 계층(사용자 수준, 프로젝트 수준, 로컬 파일)을 컨텍스트 창에 불러오며, 여기에 '자동 메모리' 계층과 경로 범위 규칙이 더해진다. Claude Code v2.1.33(2026년 2월)은 서브에이전트별 지속 메모리를 추가했다. 사용자, 프로젝트, 로컬 범위의 MEMORY.md 파일 가운데 처음 200줄 또는 25킬로바이트가 서브에이전트의 시스템 프롬프트에 주입되며, 서브에이전트는 자기 Read, Write, Edit 도구로 이 파일을 편집할 수 있다. 설계 근거는 감사 가능성이다. 메모리 파일은 개발자가 읽고, 편집하고, 버전 관리하고, 삭제할 수 있는 평문 Markdown이며, 불투명한 임베딩이 아니다.³¹

교차 도구 이식성을 위해 AGENTS.md 관례가 등장했다. OpenAI가 2025년 8월 Codex CLI용으로 만들었고, 2025년 12월 Linux Foundation의 Agentic AI Foundation에 기증했다. AGENTS.md는 Claude Code, Cursor, GitHub Copilot, Gemini CLI, Windsurf, Aider, Zed, Warp, RooCode 등 여러 코딩 에이전트가 읽는 평문 Markdown 파일이다. 2026년 초까지 6만 개가 넘는 공개 저장소가 AGENTS.md를 배포했다. Cursor Rules와 Cursor Memory Bank도 Cursor IDE에서 비슷한 역할을 한다.³²

2025년 10월 16일 Anthropic은 Agent Skills를 출시했다. 이는 Claude가 관련이 있을 때 불러오는 SKILL.md 지침 파일에 선택적 스크립트와 리소스를 묶은 모듈형 패키지다. Skills는 Claude.ai, Claude Code, Claude Agent SDK, API에서 동작하며, Max, Pro, Team, Enterprise 요금제에 추가 비용 없이 포함된다. Skills 형식은 2025년 12월 18일 표준으로 공개되었다. Skills는 전통적 의미의 메모리는 아니다. 사용자가 정의한 능력으로 묶인 절차 메모리이며, 하드코딩된 도구와 학습된 장기 메모리 사이에 위치한다.³³

Anthropic은 2026년 4월 23일 Claude Managed Agents용 메모리를 공개 베타로 출시했다. 파일 시스템 기반의 지속 메모리로, API 제어, 감사 로그, 내보내기 가능한 저장소를 갖추었으며 장기 실행 기업 워크플로를 위해 설계되었다. Anthropic이 보고한 초기 도입 사례는 Netflix, Rakuten, Wisedocs, Ando이며, 문서 검증에서 1차 통과 오류 97% 감소와 속도 30% 향상이라는 수치를 제시했다. Amazon Web Services는 2025년과 2026년에 걸쳐 Bedrock AgentCore Memory를 확장했다. AWS는 이를 기업 에이전트를 위한 표준 관리형 메모리 옵션으로 내세웠으며, 장기 메모리 추출은 사용자와 직접 맞닿은 응답 경로 밖에서 비동기로 실행된다.^26,34

지속 메모리는 지속적인 공격 표면이 되었다. NeurIPS 2025에 발표된 MINJA(Memory INJection Attack, 2025년 12월)는 일반 질의 접근 권한만 가진 공격자가 겉보기에 무해한 상호작용을 연결해 에이전트 메모리 뱅크에 악성 항목을 주입할 수 있음을 보였다. 실서비스 에이전트를 대상으로 한 주입 성공률은 95%를 넘었다고 보고되었다. 2025년 12월 arXiv에 올라온 MemoryGraft는 간접 주입 방식을 보였다. 악성 '성공 경험'을 장기 메모리에 심고, 에이전트가 검색된 성공 패턴을 모방하는 경향을 이용해 이후 질의를 공략한다. 단일 세션의 프롬프트 인젝션과 달리 오염된 메모리는 세션을 넘어 남고 검색 시 활성화되므로, 원래 공격과 시간적으로 분리된다.^35,36,37

2026년 OWASP Agent Memory Guard 프로젝트는 다섯 가지 통제 방안을 정리했다. 저장 전 정제, 사용자와 세션 간 메모리 격리, 만료와 크기 제한 설정, 저장 전 민감 정보 감사, 장기 저장소에 대한 암호학적 무결성 검사다.

2025년 가장 분명하게 공개된 메모리 관련 개인정보 사건은 저장된 메모리를 직접 노린 공격이 아니라, 메모리와 맞닿은 공유 대화에 관한 것이었다. 2025년 7월 말과 8월 초, 연구자들은 사용자가 '이 채팅을 검색 가능하게 만들기' 토글로 공유한 ChatGPT 대화 수천 건이 Google, Bing, DuckDuckGo 검색 결과에 나타나는 것을 발견했다. 한 연구자가 수집한 거의 10만 건의 공개 공유 데이터에는 계약서, 내부 API 키, 소스 코드 조각, 개인적인 정신 건강 상담 내용이 들어 있었다. OpenAI는 검색 가능 토글을 없애고, 검색 엔진과 협력해 이미 색인된 페이지를 제외하도록 조치했다. 이 사례는 일시적 대화를 지속되는 결과물로 바꾸는 기능(공유 링크, 내보낸 메모리, 학습 데이터 등)이 기저 메모리 저장소와 별도의 개인정보 노출면을 만든다는 점을 보여 준다.³⁸

LoCoMo(Maharana 등)는 대화당 약 16,000토큰, 최대 32세션의 합성 대화를 제공한다. Mem0, Zep 및 후속 여러 논문이 쓰는 표준 벤치마크다.³⁹

MemoryArena(2026년 초 arXiv 공개)는 웹 탐색, 선호 제약 계획, 형식 추론에 걸친 서로 의존하는 다중 세션 에이전트 과제를 추가했다. 연구진은 LoCoMo에서 거의 포화 수준의 점수를 내는 에이전트도 이 더 까다로운 환경에서는 실패할 수 있음을 확인했다. MemoryAgentBench는 ICLR 2026에 채택되었으며, 점진적 다중 턴 상호작용으로 메모리를 시험한다. EvoMemBench는 자기 진화형 메모리를 다루고, MemoryBench(Ai 등, 2025)는 정적 암기와 지속 학습을 시험했다. 2025년 12월 Hu 등의 설문은 이 벤치마크 대부분을 모아 정리하고, 표준화된 메모리 평가를 주요 미개척 과제로 꼽았다.^3,7,40

2025년 후반 자금은 메모리 계층으로 뚜렷이 몰렸다. Mem0는 2025년 10월 Kindred Ventures 주도의 시드와 Basis Set Ventures 주도의 시리즈 A를 합쳐 2,400만 달러를 조달했다. Y Combinator가 참여했고, Datadog, Supabase, PostHog, GitHub, Weights and Biases 경영진이 전략적 투자자로 이름을 올렸다. MemGPT의 후속인 Letta는 수면 시간 연산과 메모리 블록 기능을 계속 출시했고, Zep은 Graphiti의 오픈소스 개발을 이어갔다. 2026년 초까지 '메모리 제공자'는 벡터 데이터베이스 아래와 에이전트 프레임워크 위 사이에 놓인 뚜렷한 제품 범주가 되었다.^11,19

11.1. 관련성 감쇠와 최신성 저하

임베딩 기반 검색은 의미적 유사성을 포착하지만, 정보가 여전히 최신인지는 본질적으로 고려하지 않는다. 1년 전의 메모리와 어제의 메모리는 임베딩이 유사할 수 있으나 한쪽은 낡았을 수 있다. 시간적 가중치 부여와 최신성 저하 탐지를 위한 명시적 메커니즘이 없으면 에이전트는 낡은 정보에 근거해 행동할 위험이 있다. 지수 감쇠 함수가 도움이 되지만, 적절한 감쇠율을 설정하는 것은 도메인에 따라 다르며 흔히 조정이 필요하다.

12. 남은 과제와 미해결 문제

가장 근본적인 제약은 여전히 LLM의 컨텍스트 창이다. 검색된 모든 메모리는 시스템 프롬프트, 현재 대화, 도구 출력과 함께 가용 토큰 예산 안에 들어가야 한다. 너무 많은 메모리를 검색하면 현재 과제를 위한 공간이 밀려나고, 너무 적게 검색하면 중요한 맥락을 놓칠 위험이 있다. 100만 토큰 이상의 긴 컨텍스트 창은 일부 작업에서 이 제약을 완화하지만 없애지는 못한다. 비용과 지연은 맥락 길이에 따라 늘고, 수십만 토큰을 넘는 긴 입력에서는 실효 회수율이 떨어지기 때문이다.²⁸

임베딩 기반 검색은 의미 유사도는 포착하지만, 정보가 아직 최신인지는 본질적으로 따지지 못한다. 1년 전 메모리와 어제 메모리는 임베딩이 비슷할 수 있지만, 한쪽은 낡았을 수 있다. 시간 가중치와 낡음 감지를 위한 명시적 장치가 없으면 에이전트는 오래된 정보에 따라 행동할 위험이 있다. 지수 감쇠 함수가 도움이 되지만, 적절한 감쇠율은 분야마다 달라 보통 튜닝이 필요하다.

맞지 않거나 낡은 메모리가 맥락에 들어오면 에이전트 성능이 떨어질 수 있다. 연구에서는 '무엇이든 추가'하는 단순한 전략이 메모리 저장소가 커질수록 성능의 지속적 하락을 낳는다는 점이 확인되었다. 품질이 낮거나 관련 없는 항목이 맥락을 오염시키기 때문이다. 효과적인 메모리 시스템에는 능동적 큐레이션이 필요하다. 중복을 합치고, 오류를 고치고, 낡은 항목을 제거해야 한다.

에이전트는 거짓 메모리를 만들 수 있다. 부정확한 요약이나 지어낸 세부 사항을 저장하면, 이것이 나중에 검색되어 사실로 취급된다. 이는 요약 기반 메모리에서 특히 문제가 되는데, LLM이 정보를 압축하는 과정에서 오류를 끼워 넣을 수 있기 때문이다. 출처 정보(provenance), 즉 각 메모리가 어디서 왔는지 기록하는 방식이 도움이 되지만 복잡성을 더한다.

지속 메모리는 개인정보 우려를 낳는다. 사용자는 에이전트가 무엇을 기억했는지 모를 수 있고, 특정 정보를 잊어 주기를 원할 수도 있다. 잊힐 권리, 데이터 보존 정책, GDPR 같은 규정 준수 요건은 메모리 시스템 설계에 제약을 더한다. 주요 상용 구현(ChatGPT, Claude, Gemini)은 모두 저장된 메모리를 보고, 편집하고, 삭제하는 사용자 제어 기능을 제공한다. ChatGPT의 저장된 메모리 패널은 검토할 수 있지만, 참조 대화 기록 계층은 실행 시점에 추론되며 고정된 목록으로 표시되지 않는다. 사용자가 잘 알아차리지 못할 수 있는 비대칭이다.²⁰

메모리 포이즈닝은 MINJA와 MemoryGraft에서 시연되었다. 공격자가 지시문을 심어 두면 일반 검색을 통해 몇 주 뒤에 활성화되어, 원래 세션과 분리된다. 방어책으로는 저장 전 정제, 사용자별 격리, 만료 정책, 감사 로그, 암호학적 무결성 검사, 메모리 읽기 시점의 런타임 검열이 있다.^35,36

현재 에이전트 메모리를 위한 단일 표준 벤치마크는 없다. 심층 메모리 검색(DMR) 벤치마크는 세션 간 검색 정확도를 시험하며 Zep 논문에서 쓰였다. LongMemEval은 이를 복잡한 시간 추론으로 확장하고, LoCoMo는 다중 세션 대화를, MemoryArena는 서로 의존하는 다중 세션 과제를, MemoryAgentBench는 점진적 다중 턴 상호작용을 시험한다. MemoryBench는 지속 학습을, EvoMemBench는 자기 진화형 메모리를 겨냥한다. Hu 등의 2025년 12월 설문은 표준화된 메모리 평가를 주요 열린 연구 과제로 꼽았는데, 현재 벤치마크가 회수, 추론, 대화형 사용의 서로 다른 조합을 측정하기 때문이다.³

13. 주요 발전 연표

14. 쉬운 설명(ELI5)

매우 똑똑한 비서가 있다고 해 보자. 그런데 당신이 말을 멈추는 순간 당신을 완전히 잊어버린다. 다시 올 때마다 당신은 자신이 누구인지, 무엇을 좋아하는지, 무엇을 하고 있었는지 다시 설명해야 한다. 메모리가 없는 AI 에이전트가 바로 이런 상태다. 기반 모델은 현재 채팅창의 말만 '볼' 수 있고, 채팅이 끝나면 모든 것이 사라진다.

에이전트 메모리는 그 비서에게 수첩을 주는 것과 같다. 대화 중에 중요한 내용을 적어 둘 수 있다('이 사람은 채식주의자다', '앱은 파이썬으로 만들기로 했다'). 나중에 다시 오면 수첩을 넘겨 보고 기억해 낸다. 단기 메모리는 현재 대화를 머릿속에 붙들고 있는 것이고, 장기 메모리는 선반에 꽂아 둔 수첩이다. 어떤 비서는 자리를 비운 사이 수첩을 정리하기도 한다. 틀렸던 내용에 줄을 긋고, 관련 메모를 묶는다. 사람의 뇌가 잠든 사이 기억을 정리하는 것과 비슷하다.