모델 호출 한 번으로 검증과 초안 작성, Packed-SS 제안

언어 모델이 긴 글을 만들 때 드는 시간을 줄이는 디코딩 방식 Packed Self-Speculative Decoding(Packed-SS)이 논문으로 공개됐다. 검증과 다음 초안 작성을 모델 호출 한 번으로 처리하는 방식이다. 연구진은 Nemotron 3B/8B와 SetDLM 1.7B 실험에서 탐욕 디코딩(greedy decoding) 기준으로 비교 대상 두 가지보다 처리량이 높고 평균 실행 시간이 짧았다고 밝혔다. 비교 대상 두 방식의 구체적인 이름은 초록에 적혀 있지 않다.

자기회귀 언어 모델은 토큰을 하나씩 차례로 생성해서 출력이 길수록 비용이 커진다. 추측 디코딩은 가벼운 드래프터가 토큰 여러 개를 먼저 제안하면 대상 모델이 이를 한꺼번에 검증해 이 부담을 줄인다. 확산 방식 드래프터는 초안 한 블록 전체를 순전파 한 번에 만들 수 있다.

한 번 앞서 초안을 만드는 방식

자기회귀 모드와 확산 모드를 모두 갖춘 모델은 네트워크 하나가 초안 작성과 검증을 맡는다. 그러나 초안 작성이 검증을 기다려야 해서 반복마다 모델을 두 번 순서대로 호출하는 것이 표준 방식이다. 호출 한 번으로 끝내는 기존 방식들은 이 대기를 없애지만, 입력 크기가 추측 폭의 제곱으로 늘어난다.

Packed-SS는 입력 크기가 추측 폭에 비례해 늘면서도 대상 모델의 분포를 그대로 유지한다고 연구진은 밝혔다. 확산 드래프터가 한 번 앞서 동작해, 현재 초안을 검증하는 동안 그보다 이전에 검증된 접두부(older verified prefix)로 다음 초안을 함께 구성한다. 아직 확정되지 않은 뒷부분은 다음 반복으로 넘긴다.

드래프터가 단조성(monotonicity)이라는 완만한 가정을 만족하면, 탐욕 디코딩에서 Packed-SS의 모델 호출 횟수가 표준 두 번 호출 방식보다 많지 않다는 것도 보였다고 연구진은 설명했다.