연구진이 합성 이야기 200만 편으로 AI 정렬과 관련된 개념 1,036개의 특징 벡터를 만들었다. 정직이나 기만처럼 사람이 이해할 수 있는 개념에 대응하는, 언어 모델 내부 활성화 공간의 방향을 가리킨다. 논문은 2026년 10월 17일 arXiv에 올라왔고, 이야기 데이터는 공개됐다.
만드는 방법은 이렇다. 개념과 그 반대 개념을 각각 담은 이야기 쌍을 합성하고, 두 이야기에서 모델 활성화의 평균을 구해 차이를 특징 벡터로 쓴다. 이야기는 여러 언어와 장르로 만들었다. 연구진은 해석 가능성 연구에 쓰이는 희소 오토인코더 같은 비지도 방식이 특징 공간 전체를 복원하려다 특징의 품질과 해석 가능성을 잃는 경우가 많다고 지적했다. 이에 맞서 연구진은 AI 안전과 정렬에 관련된 개념에 초점을 맞추는 실용적인 접근을 택했다.
연구진은 세 모델 계열의 모델 6종에서 합성 이야기로 만든 벡터가 대화문과 웹 텍스트 속 해당 개념을 탐지하는 데까지 일반화된다고 밝혔다. 벡터들은 모델이 달라도 공유되는 해석 가능한 기하 구조를 이뤘고, 활성화에 주입하면 모델 행동을 인과적으로 조종했다고 한다.
연구진은 이 벡터로 탈옥 공격 중인 모델의 내부 표현도 분석했다. 수학 문제와 에이전트 작업에서의 추론 과정도 같은 방식으로 들여다봤다. 목표를 정해 특징을 만드는 이 방식이 언어 모델의 개념을 연구하는 확장 가능한 길이며, 임의의 도메인 전반에서 수백만 개 특징으로 확장될 잠재력이 있다고 연구진은 주장했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.