DConstrain, 확산 언어모델 스키마 디코딩 지연 최대 46배 줄여

확산 언어 모델이 정해진 스키마에 맞는 출력을 병렬로 내도록 하는 제약 디코딩 기법 DConstrain이 논문으로 제안됐다. 연구진은 속성 순서를 임의로 허용한 조건에서 BFCL 스키마를 100% 컴파일했다고 밝혔다. 최적화된 유한상태 기준선의 컴파일 비율은 71.30~85.81%였다. 종단 간 디코딩 지연 시간은 6.65~46.26배 줄었다.

연구진은 스키마 유효성이 100%로 유지된 상태에서 DiffusionGemma의 BFCL 정확도가 속성 순서를 고정했을 때 37.27%에서 임의 순서에서는 81.56%로 올랐다고 보고했다. 실험은 벤치마크 세 개와 확산 언어 모델 계열 두 개 전체에서 했으며, 컴파일 비율과 지연 시간 수치는 BFCL 기준이다.

병렬 토큰이 만드는 충돌

확산 언어 모델은 여러 토큰을 한꺼번에 디코딩한다. 그래서 각 토큰이 따로 보면 스키마에 맞아도 함께 놓으면 서로 어긋날 수 있다.

문법 그래프 전체에 걸친 정확한 결합 추론이 호환성을 보장하지만, 가상의 파서 상태가 많아 각 상태의 후속 토큰을 모두 구해야 한다. 스택과 필드 이력을 컴파일된 상태에 넣으면 상태 수가 지수적으로 늘어난다. 기존의 정확한 디코더는 이를 피하려고 속성 순서를 고정했고, 그 때문에 유효한 출력 일부가 배제됐다고 연구진은 설명했다.

컴파일 방식

DConstrain은 스키마를 문맥 매개변수형 전이 프로그램으로 컴파일한다. 사전 컴파일 단계에서는 토큰 소비를 국소 문법 상태에 맞게 특화하고, 스택 연산과 환경 조건, 호출자에 따라 달라지는 지연 파싱은 기호 형태로 남긴다. 필드 이력은 실행 시점의 값으로 추적해, 필드 부분집합을 미리 나열하지 않고도 임의의 속성 순서를 지원한다.

실행 중에는 도달한 파서 상태를 이 프로그램에 연결해 정확한 후속 상태를 만든다. 그래프 구성에 모델 점수가 필요 없어 모델의 순전파와 겹쳐 처리된다. 컴파일된 효과가 같은 토큰은 실행 문맥을 연결하기 전에 묶어, 구체적인 후속 상태가 달라도 스택과 환경을 넘어 묶음을 재사용한다.

목적에 맞춘 점수 집계와 토큰 복원으로, 묶지 않은 추론의 비터비 최적해와 토큰 단위 경로 분포가 그대로 보존된다는 점을 증명했다고 연구진은 밝혔다.

BFCL 결과