DeepSeek V4 플래시, 캐시 압축 탓에 12만8000토큰 입력에서 검색 정확도 40.2%포인트 차

바이트댄스, 프린스턴대, 스탠퍼드대, UC 버클리 연구진이 DeepSeek-V4 계열 모델에서 찾으려는 정보가 입력의 어느 지점에 있느냐에 따라 검색 정답률이 규칙적으로 오르내린다는 점을 밝혀냈다. 입력 12만8000토큰에서 정보 위치만 바꿔 측정하자 기본 모델의 위치별 정확도 차이가 V4 플래시에서 40.2%포인트, V4 프로에서 34.8%포인트였다. 논문은 2026년 10월 15일 기준 최근 arXiv에 공개됐다.

연구진은 이 주기적 편차를 '위상 민감도(phase sensitivity)'라고 이름 붙였다. 논문 제목은 'Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression'이다. DeepSeek-V4와 V4.1은 물론 연구진이 처음부터 사전 학습시킨 압축 모델 전부에서 같은 현상이 나타났다고 연구진은 밝혔다.

추가 학습과 코드 사례

추가 학습을 거친 DeepSeek 모델은 격차가 V4 플래시 19.1%포인트, V4 프로 14.8%포인트, V4.1 플래시 6.1%포인트로 줄었다. 위치별 차이는 V4.1 플래시에서도 관찰됐다.

코드 자동 완성에서도 비슷한 흐름이 나타났다. DeepSeek-V4-플래시-베이스에 독스트링을 넣고 그 분량을 조금씩 바꾸자, 다음 토큰 답이 오답(32)과 정답(8)으로 번갈아 바뀌었다. 이 반복 간격은 압축 간격과 같았다.

연구진은 "높은 평균 정확도가 위치별 실패와 공존할 수 있다"며, 압축 구간 안에서 정보 위치를 옮겨 가며 성능을 측정해야 한다고 지적했다.

KV 캐시는 문맥을 읽는 동안 모델이 만들어 두는 중간 정보의 저장 공간이다. DeepSeek는 이어진 토큰 여러 개를 하나의 덩어리로 합쳐 저장 항목 수를 줄이고, 긴 입력에서 드는 메모리와 연산 비용을 낮춘다.

모델은 질문이 오기 전에 요약본에 남길 내용을 정한다. 같은 내용이어도 덩어리의 경계 기준으로 어디에 놓였는지에 따라 압축 결과가 달라지고, 이 차이가 일정한 간격으로 되풀이되는 약점이 된다.

덩어리 압축 없이 모든 토큰을 보는 일반 전체 어텐션 비교 모델에서는 이런 규칙적 등락이 나타나지 않았다. 연구진은 이 결과를 근거로 청크형 압축이 주된 원인일 가능성이 크다고 봤다.

연구진이 본 것은 통제된 정보 검색 실험과 코드 자동 완성 한 사례까지다. 실제 서비스의 안전과 신뢰에 어떤 영향을 주는지는 더 연구해야 한다고 연구진은 밝혔다.