반복 적용형 언어모델의 디코딩 속도를 높이는 추측 생성 기법 LoopAhead가 논문으로 제안됐다. 논문은 이 기법이 자기회귀 방식 대비 최대 7.82배의 디코딩 속도 향상을 냈다고 밝혔다. 모델이 내놓는 출력 분포는 그대로 유지된다고 한다.
대상은 같은 트랜스포머 층을 되풀이해 적용하는 루프형 트랜스포머다. 이 구조는 매개변수를 효율적으로 쓰지만, 토큰을 하나 만들 때마다 순차 계산과 모델 가중치 반복 접근이 필요해 지연 시간이 길어진다. 논문은 이를 문제로 짚었다.
기존에는 초기 반복 단계의 예측으로 토큰 초안을 만들고, 같은 배치에서 토큰마다 서로 다른 반복 깊이를 비동기로 진행하는 파이프라인형 자기 추측 방식이 있었다. 논문에 따르면 이 방식은 초기 반복 단계의 특징을 더 먼 미래 예측에 충분히 쓰지 못하고, 틀린 추측 가지를 검증하는 데도 계산을 쓴다.
LoopAhead는 추측 디코딩 틀에서 미래 토큰을 더 일찍 초안으로 만들고, 반복 깊이마다 다른 역할을 맡긴다. 가벼운 선행 초안기(LAD)가 초기 반복 상태로 여러 미래 토큰을 예측한다. 더 깊은 반복 단계의 피드백은 어떤 초안 가지를 이어 가고 어떤 가지를 멈출지 정하며, 최종 토큰은 전체 깊이의 모델이 결정한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.