LLM 기억 활용, 사용자 선호와 어긋난다는 연구와 보상 모델 제안

연구진이 대규모 언어 모델(LLM) 비서의 기억 기능을 사용자 선호에 맞추도록 학습시키는 메모리 인식 보상 모델을 제안했다. 이 모델은 사용자 판단을 학습해 선호 예측 정확도 72.8%를 기록했고 기존 기준선보다 나았다고 연구진은 논문에서 밝혔다.

논문은 2026년 10월 22일 arXiv에 올라왔다. 연구진은 참가자 87명이 자신의 ChatGPT 질문과 개인 기억을 써서 매긴 쌍대 비교 판단 약 1,000건을 모았다.

기억은 비서가 세션을 넘어 맥락을 이어 가고 개인화된 답을 내게 하지만, 사용자에 대해 더 많이 안다고 해서 사용자가 선호하는 답이 나오는 것은 아니라는 것이 연구진의 문제의식이다. 기존 평가는 기억 능력을 재기만 했고, 기억 사용이 사용자에게 도움이 되는지는 직접 따지지 않았다고 연구진은 지적했다.

실험에서 기억을 반영한 답변이 기억 없이 만든 답변보다 일관되게 선호되지는 않았다. 일부 경우에는 사용자가 기억 없는 답변을 강하게 선호했다. 자동 평가기도 사용자 판단과 일치하는 정도가 낮았고, 기억을 반영한 답변을 사용자보다 훨씬 자주 골랐다.

연구진은 이런 간극을 근거로 보상 모델이 사용자 판단에서 직접 배우게 했다. 연구진은 이 결과가 기억 사용을 정보가 사용되는 사람들의 선호에 맞추는 평가와 최적화 목표를 뒷받침한다고 밝혔다.