텍스트·이미지·영상·음성이 섞인 대화에서 AI 에이전트의 장기 기억을 재는 벤치마크 MOSAIC가 논문으로 공개됐다. 문항은 923개이고, 페르소나를 바탕으로 만든 11~24회 분량의 대화 기록이 바탕이다. 논문은 arXiv에 2026년 10월 21일자로 올라왔다.
연구진은 옴니모달 비서가 사용자가 말한 내용뿐 아니라 보여 준 것과 전달한 느낌까지 기억해야 한다고 설명한다. 기존 장기 기억 벤치마크는 대부분 텍스트와 이미지만 다루거나 처음부터 끝까지의 점수 하나만 내놓아서, 증거가 저장, 검색, 전달, 읽기 중 어느 단계에서 사라지는지 가려내지 못한다는 것이다.
공간·시간·말투 신호를 따로 설계
MOSAIC는 장식용 미디어 대신 공간, 시간, 운율(말의 억양과 리듬) 신호를 목적에 맞게 만들어 넣었다. 연구진에 따르면 인과 관계 검증은 공간 정보에서 가장 강하게 이뤄졌고, 주석을 단 운율은 선택기 수준에서 검증했다.
진단 방식은 질문, 읽는 모델, 프롬프트, 예산을 고정한 채 표현, 검색, 전달 단계만 바꿔 가며 비교하는 것이다.
실험에서 드러난 약점
- 표현 단계의 손실은 모달리티에 따라 다르다.
- 정답 증거(gold evidence)를 줘도 잔여 읽기 오류가 지배적이다.
- 답할 수 없는 질문을 거절하는 능력은 여전히 약해서, 답변 가능한 문항의 점수가 높아도 거절에는 실패하는 일이 함께 나타난다.
연구진은 MOSAIC가 옴니모달 기억 평가를 리더보드 순위 매기기에서 쓰기, 검색, 전달, 읽기 실패를 진단하는 도구로 바꾼다고 주장한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.