DAGFormer는 트랜스포머 언어 모델에서 층 사이 연결을 별도의 예측기가 설계하도록 만든 구조다. 논문은 2026년 10월 14일 arXiv에 올라왔다. 표준 트랜스포머의 잔차 연결에 더해 앞쪽 층에서 뒤쪽 층으로 가는 직접 연결을 추가하고, 예측기가 입력 토큰을 보고 모든 연결의 세기를 정한다.
연구진은 OLMo-2 기준으로 75M에서 1B 파라미터까지 크기를 맞춘 쌍을 비교했다. 일반 트랜스포머보다 WikiText-2 Perplexity가 17~25% 낮았다. 토큰 50억 개로 학습한 1B DAGFormer가 토큰 100억 개로 학습한 일반 모델보다 나은 결과를 냈다고 논문은 밝혔다.
기존 연결 방식과의 차이
기존의 층 간 연결 구조는 층마다 연결을 따로 정한다. DAGFormer는 예측기를 모델과 함께 학습시켜 전체 모델의 연결을 한꺼번에 계획한다.
같은 데이터와 같은 예산으로 연결 방식 기준선 네 가지와 비교했을 때도 75M, 300M, 1B 모두에서 Perplexity가 가장 낮았다.
다른 평가에서의 결과
상식, 과학, 독해, 수학을 다루는 13개 과제에서는 300M과 1B 모델의 평균 정확도가 2.0~2.5점 높았다. 지시 미세조정 후 AlpacaEval에서는 일반 트랜스포머를 상대로 승률 63~70%를 기록했고, 연결 방식 기준선 모두를 앞섰다.
구조적 프루닝을 적용한 여섯 가지 설정 중 다섯 곳에서 DAGFormer의 성능 하락 폭이 가장 작았다. 이상은 논문 저자들이 밝힌 결과이며, 실험 범위는 최대 1B 파라미터다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.