DiscernMem은 멀티 에이전트 시스템이 저장해 둔 경험 중 잘못된 조언을 고치고, 맞는 조언은 알맞은 상황에서만 쓰게 하는 프레임워크다. 연구진이 arXiv에 논문을 올려 제안했으며, 추가 학습이 필요 없다고 밝혔다.
연구진은 Qwen3-4B-Instruct-2507 모델로 벤치마크 네 개에서 실험했다. 멀티 에이전트 시스템 AutoGen, CAMEL, MacNet 세 곳 모두에서 DiscernMem의 평균 점수가 가장 높았다. 시스템별로 가장 강하게 보고된 기준선과 비교하면 0.51~4.32점 앞선다고 연구진은 밝혔다.
결함 진단과 사용 시점 학습
LLM 기반 멀티 에이전트 시스템에서 메모리는 경험을 재사용하게 해 주지만, 저장된 조언에 결함이 있거나 엉뚱한 상황에 적용될 수 있다. 팀 전체의 성공이나 실패만으로는 메모리를 고쳐야 하는지, 애초에 쓰지 말았어야 하는지 가려내기 어렵다는 것이 연구진의 문제 제기다.
품질을 높이는 DMR(Defect-Aware Memory Refinement)은 메모리 하나만 쓴 팀 실행과 메모리 없이 실행한 결과를 비교해 규칙의 결함을 진단한다. 수리안은 현재 과제와 이전 과제에서 시험해, 전에 유용했던 동작을 잃지 않는지 확인한다.
사용을 안내하는 BLM(Boundary-Learning Meta-Memory)은 각 메모리의 과거 사용 기록과 효과를 저장한다. 이를 바탕으로 메모리를 가진 역할이 과제 맥락과 들어오는 메시지에 따라 언제 적용하고 언제 피할지 배운다. 두 요소가 함께 작동해 결함 있는 경험은 고치고, 유용하지만 잘못 적용된 규칙은 살린다는 설명이다.
DiscernMem은 세 시스템 모두에서 코드 생성과 기호 계획 부문 1위였다. CAMEL의 PDDL 점수는 DiscernMem이 37.71, 비교 대상이 28.48이었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.