Haotian Ma, Ziye Mei, Frederic Sala가 희소 오토인코더(SAE) 특징들이 함께 작용할 때 모델 행동이 개별 효과의 합으로 설명되는 정도를 재는 지표 SAE Additivity Residuals(SAR)를 발표했다. 논문 제목은 Behavioral Compositionality of Sparse Autoencoder Representations이며, 2026-10-15 arXiv에 올라왔다.1
논문 초록은 코드가 공개돼 있다고만 밝힌다. 커뮤니티 자료인 GitHub 저장소(OpenSAE/SAE-Behavioral-Compositionality)의 README는 추정 코드가 NumPy 파일 하나(sar.py)이고, 24개 프롬프트로 층 4와 10을 도는 GPT-2 데모가 GPU에서 약 1분, CPU에서 약 5분 걸린다고 소개한다. 이 저장소가 저자 공식 저장소인지는 확인되지 않는다. README의 설치 안내는 다른 주소(UniqueMax2005/sar-compositionality)를 가리킨다. sar.py는 NumPy만 필요하고, 데모에는 PyTorch, TransformerLens, SAE Lens, Matplotlib이 더 필요하다.1,2
SAE 특징은 선형으로 디코딩되지만, 각 특징이 모델 행동에 미치는 영향까지 더해지는 것은 아니다. SAR는 정해 둔 상호작용 차수 위에서 개별 효과로 설명되지 않고 남는 행동 변동을 측정한다. 특징 부분집합을 독립적으로 뽑는 조건에서 모집단 SAR는 그 차수 위 상호작용의 정규화된 에너지와 정확히 같다. 최적의 저차 근사가 만드는 부분집합 순서 오류의 상한도 된다.1
README에 따르면 부분집합은 각 특징을 확률 1/2로 독립적으로 남겨 뽑고, 선택한 특징의 기여분만 남기거나 제거한 활성값을 고정된 상위 층에 통과시켜 로짓 차이 같은 스칼라 행동값을 얻는다. SAR1은 개별 특징 효과로 설명되지 않는 행동 분산의 비율이고, 비율 ρ2는 그중 특징 쌍이 되살리는 몫이다. 실험에서는 프롬프트마다 특징 16개로 부분집합 384개를 뽑아 256개로 최소제곱 적합하고 128개로 평가했다.
선택한 특징의 기여분만 남기거나 제거한 활성값을 고정된 상위 층에 통과시키고, 로짓 차이 같은 스칼라 행동값을 얻는 방식이다. SAR1은 개별 특징 효과로 설명되지 않는 행동 분산의 비율이고, 비율 ρ2는 그중 특징 쌍이 되살리는 몫이다. 실험에서는 프롬프트마다 특징 16개로 부분집합 384개를 뽑아 256개로 최소제곱 적합하고 128개로 평가했다.
README에 따르면 실제 행동의 SAR1은 모델·층·행동 조합 57개 모두에서 양수였다. 반면 아핀 읽기를 쓴 대조 실험에서는 SAR1이 최대 1.55×10^-13으로 사실상 0이었다. 주요 결과 표는 Gemma-3 4B, Mistral-7B, Llama-3.1 8B의 행동별 값을 보여 준다.2
학습된 SAE 좌표는 같은 부분공간을 합을 보존하며 무작위로 회전한 좌표보다 1차 잔차가 18개 모델·행동 설정 모두에서 낮았다. README는 층까지 나눈 모델·행동·층 비교 33건에서도 마찬가지라고 적었다. 프롬프트 100개, 프롬프트당 회전 8개 기준 중앙값으로 보면 Llama-3.1 8B의 한 행동은 SAE 0.059, 회전 0.166이었다.1,2
특징 쌍 항을 넣으면 보류한 부분집합의 순위 정확도가 18개 설정 평균으로 0.9782에서 0.9959로 올랐고, 같은 수의 무작위 3차 항을 쓴 모델보다 18개 설정 모두에서 나았다. 쌍 모델은 순서 오류와 부호 오류도 18개 설정 모두에서 낮췄고, 부분집합을 20번 반복해 나눠도 같았다.
SAR1이 높을수록 1차 설명은 부정확했다. SAR1이 가장 낮은 십분위에서 가장 높은 십분위로 가면 1차 모델의 순위 정확도가 Gemma-3 4B는 0.9857에서 0.9539, Mistral-7B는 0.9939에서 0.9413, Llama-3.1 8B는 0.9790에서 0.9289로 떨어졌다. 같은 구간에서 선택 후회는 Gemma와 Llama에서 대략 두 배, Mistral에서 약 다섯 배가 됐다.2
조향 실험(Llama-3.1 8B, 공개된 CorrSteer 특징 16개, 조향 조합 1,024개, MMLU-Pro 문항 1,400개)에서 쌍 모델은 1차 모델보다 순위 정확도가 0.5874에서 0.7790으로 높아졌고, 순서 오류는 0.1444에서 0.0606으로 낮아졌다. 순위 정확도는 높을수록, 순서 오류는 낮을수록 좋다.1,2
README는 층이 깊어지면 SAR1이 줄고 ρ2는 커지는 경향도 보고했다. Figure 6의 초기층·후기층 비교 9건 중 SAR1은 8건에서 줄었고 ρ2는 9건 모두 늘었다.
README에 따르면 Gemma-3 1B 같은 지점의 SAE 6개를 비교했을 때 SAR1은 부호 오류 및 선택 후회와 상관이 있지만 복원 오차는 그렇지 않다. 프롬프트 수준 스피어먼 상관은 SAR1이 부호 오류와 0.269~0.430, 선택 후회와 0.199~0.235였다. 복원 오차는 부호 오류와 −0.114~−0.013, 선택 후회와 0.005~0.028이었다.2
복원 오차와의 차이
공개 GPT-2 Small SAE와 README 작성자가 쓴 복사 프롬프트 24개로 돌리는 데모(층 4, 10 기준)에서도 같은 양상이 나온다. 층 4에서 10으로 가며 SAE 좌표의 SAR1 중앙값은 0.3232에서 0.0148로 내려갔다. README는 논문의 프롬프트 1,000개 기준 결과로, 층 4에서 10으로 가며 0.2978에서 0.01309로 줄었다고 소개했다.2
저자들은 SAE 좌표가 비교적 합성적인 행동 설명을 제공하지만, 충실한 결합 설명과 개입에는 개별 특징 효과를 넘는 상호작용이 필요하다고 결론 내렸다.1
공개 GPT-2 Small SAE와 저자가 쓴 복사 프롬프트 24개로 돌리는 데모(층 4, 10 기준)에서도 같은 양상이 나온다. 층 4에서 10으로 가며 SAE 좌표의 SAR1 중앙값은 0.3232에서 0.0148로 내려갔다. 저장소 README는 논문의 프롬프트 1,000개 기준 결과로, 층 4에서 10으로 가며 0.2978에서 0.01309로 줄었다고 소개했다.2