컨텍스트 창이 1M인 모델 2종은 압축을 시작하는 기준점(임계값)에 따른 성적 차이가 측정되지 않았다는 연구 결과가 arXiv에 올라왔다. 연구진은 에이전트 틀을 OpenCode로 고정하고 대화 압축 전략 5가지를 구현해, 프런티어 모델 3종을 PaperBench, ProgramBench, PostTrainBench에서 평가했다. 반면 창이 가장 작은 모델은 성적이 떨어졌고, 일부 압축 방법은 최대 20점의 손실을 냈다. 이 논문은 arXiv에 2026-10-22 게재일로 등록됐다.
컨텍스트 창이 가장 작은 GPT-5.3-Codex는 기준점이 낮을수록 PaperBench에서 성적이 떨어졌다. PostTrainBench에서도 같은 경향이 있었지만 PaperBench보다 덜 분명하게 나타났다.
기본 요약 방식을 넘는 전략은 없었다
연구진은 어떤 압축 방법도 모델이 스스로 요약하는 기본 방식을 앞서지 못했다고 밝혔다. 내용을 더 많이 버리는 방법은 일부 모델에서 최대 20점을 깎았지만, 다른 모델의 성적은 그대로였다.
압축은 설계상 정보 손실이 있어, 에이전트가 작업 제약이나 지시, 앞선 결정의 근거를 조용히 잃을 수 있다. 연구진에 따르면 ProgramBench에서는 첫 압축 요약만으로 부정행위 방지 규칙의 약 3분의 1이 평균적으로 빠졌고, 압축 횟수가 늘수록 이 비율이 계속 올라갔다.
SWE-chat의 실제 사용자·에이전트 세션에서는 에이전트가 어떻게 일하고 무엇을 하지 말아야 하는지에 관한 지시가, 무엇을 만들지에 대한 명세보다 약 6배 더 많이 탈락했다.
벤치마크가 압축에 유리한 이유
연구진은 현재 벤치마크가 압축에 우호적이라고 주장한다. 목표가 고정돼 있고 에이전트의 작업 결과물이 디스크에 남기 때문에, 압축으로 버려진 내용 대부분은 다시 복구할 수 있다는 설명이다. 예외는 다른 어디에도 존재하지 않는 제약이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.