블록 확산 언어모델의 생성 속도를 높이는 디코딩 알고리즘 One Block Ahead(OBA)가 arXiv에 공개됐다. 현재 블록을 디노이징하는 동안 다음 블록도 함께 처리하는 방식이며, 추가 학습이 필요 없다.
논문은 최첨단 확산 언어모델로 소개한 DiffusionGemma에서 OBA를 시험한 결과를 10개 벤치마크 평균으로 제시했다. 순전파 한 번당 생성하는 토큰 수는 15.64개에서 22.25개로 42.3% 늘었고, 요청 하나를 처리할 때의 디노이징 처리량은 16.3% 높아졌다. 정확도는 소폭 떨어졌다.
블록 확산 언어모델은 한 블록 안의 토큰 위치를 병렬로 디노이징해 순전파 한 번에 여러 토큰을 내놓는다. 그러나 블록끼리는 순서대로 처리해야 하고, 블록 안을 빠르게 만드는 기법으로는 이 비용이 줄지 않는다고 연구진은 지적했다.
연구진은 블록의 디노이징 진행 정도가 중간 토큰에 드러나지 않는 균일 상태 확산 언어모델에 한정해, 다음 블록의 토큰을 자기 조건화 신호와 디노이징 시간까지 포함한 샘플러 상태와 함께 앞당기면 동시 디코딩이 유리하다는 점을 보였다고 밝혔다. 두 블록을 묶어 처리하는 순전파의 상대 비용과 OBA의 이득을 연결하는 손익분기 기준도 유도했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.