연구진이 2026년 10월 16일 arXiv에 올린 논문에서 외부 감독 없이 대규모 언어모델(LLM)을 계속 적응시키는 프레임워크 ESRL(Evolution Strategy Reinforcement Learning)을 제안했다. 수학 추론, 일반 지식, 의료 분야의 단일 과제 테스트 시점 적응 실험에서 평균 정확도가 기본 모델 대비 최대 31.7%, 가장 강한 기존 테스트 시점 적응 기법 대비 최대 16.6% 상대적으로 높아졌다고 밝혔다. 두 수치는 퍼센트포인트 차이가 아니라 비교 대상 점수에 대한 상대 향상률이다.
논문은 연속 학습에서도 ESRL이 가장 높은 최종 성능을 냈고 치명적 망각(이전에 배운 내용을 잃는 현상)을 크게 줄였다고 주장한다. 논문 제목은 'Continual Test-Time Learning with Evolution Strategies'다. 공개된 내용은 초록이며, 사용 모델과 세부 실험 설정은 초록에 담기지 않았다.
연구진에 따르면 기존 연속 학습은 라벨 데이터, 시연, 보상 신호 같은 외부 감독에 기대는데, 실제 환경에서는 이런 감독이 비싸거나 없을 수 있다. 테스트 시점 적응은 모델이 스스로 만든 감독으로 학습해 이 의존을 없앤다. 다만 기존 방법은 업데이트 중인 단일 정책에서 감독 신호를 얻는다. 정책이 변하면 학습 신호도 같이 변해서 정책 붕괴, 추론 능력 저하, 치명적 망각이 생긴다고 논문은 설명한다.
ESRL은 학습 중인 정책 하나가 아니라 여러 정책의 집단에서 감독 신호를 얻는다. 기준이 되는 앵커 정책의 매개변수 공간에 변형을 가해 가까운 정책 집단을 만들고, 각 정책에서 궤적을 하나씩 뽑는다. 이 정책들의 답을 모아 정답 라벨 없이 집단 내 상대 비교로 학습 신호를 만들며, 이 신호로 중심 역할을 하는 학생 정책을 강화 학습으로 갱신한다.
앵커는 한 블록 안에서는 고정하고, 블록이 바뀔 때 학생 정책으로 갱신한다. 연구진은 이렇게 하면 집단이 안정적이면서도 최신인 정책을 중심으로 유지되어, 학생이 움직여도 다양하고 믿을 만한 감독이 계속 공급된다고 설명했다.
연구진은 LLM이 개방형 환경에서 변화하는 과제와 분포에 외부 감독 없이도 계속 적응해야 한다는 문제의식에서 ESRL을 제안했다. 위 수치는 저자들이 보고한 결과다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.