연구진이 대규모 언어 모델(LLM) 서빙에서 KV 캐시를 SSD에 내려놓을 때 SSD 수명을 늘리는 시스템 Gandalf를 제안했다. 논문은 2026년 10월 22일 arXiv에 올라왔다. 연구진은 여러 작업 기록과 다양한 하드웨어 용량 조건에서 평가한 결과, SSD 수명이 평균 7.3배 늘었고 캐시 적중률에 미친 영향은 무시할 만한 수준이라고 밝혔다.
KV 캐시는 LLM 서빙 비용을 줄여 주지만, 캐시 크기가 GPU와 호스트 메모리 용량을 넘어서는 경우가 늘고 있다. 그래서 높은 입출력 대역폭을 가진 SSD로 캐시 저장 공간을 넓히는 방식이 쓰인다. 문제는 여러 차례 이어지는 대화나 LLM 에이전트 같은 실제 서비스 작업에서 KV 캐시 쓰기 총량이 SSD 용량을 크게 웃돈다는 점이며, 이 때문에 SSD 수명이 몇 년에서 몇 달로 줄어든다고 논문은 설명했다.
접근 방식
쓰기를 줄이는 가장 쉬운 방법은 과거 접근 기록을 보고 SSD에 기록할 캐시를 걸러내는 것이다. 연구진에 따르면 이 방식은 캐시 적중률을 크게 떨어뜨려 서빙 비용을 다시 높인다. 어텐션 종류가 다른 KV 캐시가 과거 접근 패턴은 같아도 앞으로의 접근 패턴은 다를 수 있기 때문이다.
Gandalf는 접근 패턴에 더해 캐시가 어떤 어텐션에서 나왔는지 같은 애플리케이션 수준 정보를 함께 본다. 풀 어텐션(full attention) 캐시를 다른 종류의 어텐션이 만든 캐시보다 먼저 SSD에 받아들이는 방식으로, 캐시 적중률을 희생하지 않으면서 SSD 수명을 늘린다고 연구진은 밝혔다. 연구진은 SSD 수명을 고려한 최초의 SSD KV 캐시 오프로딩 시스템이라고 주장했다.
연구진은 이 설계를 High Bandwidth Flash(HBF) 같은 다른 플래시 기반 저장장치에도 확장할 수 있다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.