VLM 토큰 가지치기, 정확도만으론 부족해 PAA-Bench 제안

비전 언어 모델의 시각 토큰 가지치기를 지금처럼 평가하면 방법의 진짜 품질과 속도 이득을 가리기 어렵다는 연구가 arXiv에 공개됐다. 연구진은 기존 벤치마크에 덧붙여 쓰는 평가 틀 PAA-Bench를 내놓았다.

시각 토큰 가지치기는 비전 언어 모델(VLM)의 원래 능력을 유지하면서 추론 비용을 줄이려는 기법이다. 기존 평가는 작업 전체의 정확도와 남긴 토큰 수를 각각 품질과 효율의 대리 지표로 삼아 왔다.

연구진이 짚은 두 가지 한계

첫째, 평균 정확도로는 가지치기 방법이 중요한 시각 토큰을 실제로 골라냈는지 알 수 없다. 토큰을 임의로 지워도 풀리는 예제가 많고, 시각 정보가 훼손되면 모델이 텍스트 단서로 답을 맞히기도 한다고 연구진은 밝혔다.

둘째, 남은 토큰 수는 효율을 믿고 따지기 어려운 지표다. 토큰 예산이 같아도 가지치기를 어디서 어떻게 하느냐에 따라 처음부터 끝까지 드는 비용이 달라진다. 이 때문에 정확도와 토큰 수만 비교해서는 방법들의 성능과 효율 사이의 전체 최적 경계(파레토 프런티어)를 복원하지 못한다고 연구진은 주장했다.

PAA-Bench의 두 지표

PAA-Bench는 가지치기가 의미 있는 토큰 선택으로 성공했는지, 그 성공이 실제 속도 향상으로 이어지는지를 함께 따진다. 토큰 선택이 실제로 중요한 경우를 가려내기 위해 Random-Pass@k를 제안했다. 임의로 가지치기해도 한 예제가 얼마나 자주 정답을 유지하는지 재는 지표로, 선택 난도별로 평가할 수 있다.

효율은 Preservation-Constrained Speedup(PCS)으로 비교한다. 모든 방법에 같은 성능 보존 목표를 주고, 그 조건에서 각 방법이 내는 최대 종단 간 속도 향상을 보고하는 방식이다.

연구진은 8개 방법, 3개 VLM 백본, 9개 벤치마크로 실험했다. 더 강한 토큰 압축이 반드시 더 큰 속도 향상을 낳는 것은 아니었고, 토큰 선택이 중요한 예제에서 방법 간 차이가 더 벌어졌다. 보존 목표를 바꾸면 효율 순위도 달라졌다.