WAQS, 추론 비용 없이 입력별 조향하는 방법 제안

대규모 언어 모델의 활성화 조향에서 효율과 표현력 사이의 절충을 줄이는 방법 WAQS(Weight Absorption for Quadratic probing and affine Steering)가 arXiv에 공개됐다. 입력에 따라 조향 방향이 달라지면서도 추론 단계에서 추가 연산이 들지 않는 것이 특징이다.

논문에 따르면 진실성, 거부, 아첨 조향 과제에서 이차 조향은 고정된 선형 조향과 같거나 더 나은 결과를 냈고 모델 유용성도 유지했다. 가중치에 합친 구현은 추론 시 연산을 늘리지 않는다고 연구진은 밝혔다.

활성화 조향은 미세 조정보다 가벼운 방식으로 대규모 언어 모델의 행동을 제어한다. 기존 방법은 선택지가 갈렸다. 고정 조향 벡터는 추론 부담이 거의 없지만 현재 입력에 맞춰 바뀌지 못한다. 입력에 따라 달라지는 비선형 개입은 유연한 대신 실행 시간 비용이 추가된다.

작동 방식

WAQS는 개념을 이차 프로브로 모델링한다. 이 프로브의 기울기를 구하면 활성화에 따라 달라지는 아핀 조향 방향이 나온다. 연구진은 이 아핀 개입을 오프라인 가중치 갱신으로 인접한 선형 변환에 정확히 합칠 수 있음을 보였다.

연구진은 기울기 기반 개입이 아핀이어서 선형 층에 정확히 흡수되는 매끄러운 개념 점수 가운데 이차 함수가 최대 범위라는 점도 증명했다고 밝혔다. 가우스 표현 모델을 가정하면 이 방법은 클래스별 마할라노비스 끌림의 차이로 해석되며, 선형 판별과 평균 차이 조향을 일반화한다. 고차원 표현으로 확장하기 위해서는 이차 항의 저랭크 매개변수화를 도입했다.

연구진은 이차 프로브가 정적 선형 조향과 계산 비용이 큰 동적 비선형 개입 사이의 현실적인 중간 지점이 될 수 있다고 주장했다.