「Orthogonal and Parametrized Multi-Attribute Steering of LLMs」라는 제목의 논문이 2026년 10월 27일 arXiv에 올라왔다. 추론 시점에 대규모 언어 모델의 행동 특성 여러 개를 서로 간섭 없이 함께 조절하는 방법을 제안한다. 조향 강도가 어떤 벡터에서든 같은 의미를 갖도록 만든 매개변수화 조향도 함께 내놓았다.
활성화 조향은 모델 내부 활성값을 건드려 추론 시점에 행동을 바꾸는 방식으로, 효과적이고 효율적이라고 논문은 설명한다. 다만 신호를 일관되게 강하게 주는 방법과, 조향 강도에 누구나 같게 해석할 수 있는 의미를 부여하는 방법은 아직 분명하지 않았다고 지적한다.
저자들은 먼저 조향 벡터마다 가장 잘 조향되는 구간을 찾아 조향 범위를 그에 맞게 다시 조정했다. 이를 바탕으로 만든 매개변수화 조향은 활성값을 한 방향으로 밀어붙이는 대신, 원하는 특성 강도에 해당하는 값으로 직접 맞춘다.
여러 특성을 동시에 조향하는 실험에서 저자들은 벡터를 naive하게 결합하면 서로 간섭한다는 사실을 발견했다. 이를 해결하려고 벡터를 직교화하는 방법을 개발했으며, 특성들이 분리되므로 한 행동을 보이게 하면서 다른 행동을 유발하지 않게 할 수 있다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.