Ziye Mei와 Haotian Ma 연구진이 희소 오토인코더(SAE)에서 프롬프트의 표현을 바꾸면 특징 활성이 다른 특징으로 옮겨 간다는 연구를 arXiv에 올렸다(2026년 10월 15일 게재). 요청의 뜻은 그대로인 채 문장만 바꿔도 활성이 재분배되며, 연구진은 이를 재는 지표 재분배 민감도 점수(RSS)를 제안했다.1
RSS 선택기는 NumPy 함수 하나(rss.py)로 공개됐다. GPT-2 데모는 CPU에서 약 1분이 걸리며, 자기 SAE에 쓰려면 요청을 유지한 변형 프롬프트를 만들어 선택용과 검증용으로 나눈 뒤 선택용에서만 특징을 고르면 된다. 논문 코드는 GitHub 저장소에 올라 있다.2
RSS가 고르는 특징
SAE는 언어 모델의 활성을 희소한 특징들로 분해한다. 연구진은 한 변형에서 관찰한 특징 변화가 다시 나타난다는 보장은 없고, 반복되는 변화조차 하류 계산에 영향을 준다고 할 수 없다고 짚었다. RSS는 변화 폭이 크면서 같은 방향으로 되풀이되는 특징을 골라낸다.1
선택 규칙은 변형 5개 중 4개 이상에서 반응하고 그중 80% 이상이 같은 방향인 특징 가운데 변화가 큰 것을 남기는 방식이다. 평균 반응 크기는 절댓값의 평균이라 반대 방향 변화가 상쇄되지 않는다. 설정은 ρ=κ=0.8, τ=10⁻⁵, M=400, K=20이다. 저장소 예제에서는 5개 변형 중 4개에서 오르는 특징과 5개 모두에서 내리는 특징은 남고, 매번 변하지만 방향이 뒤집히는 특징은 빠진다.2
27개 SAE에서 재현된 결과
연구진은 8개 언어 모델에 걸친 사전학습 SAE 27개로 실험했다. 선택에서 제외한 변형에서도 재현 가능한 재분배 양상이 나타났다. 27개 SAE 모두에서 무관한 문맥이나 형식 포장 같은 맥락·포장 변형이 구두점 수정 같은 국소 편집보다 표현을 더 크게 움직였다. 정규화한 차이는 평균 0.874(95% 구간 0.867~0.881)이고, 1,000개 프롬프트 전부에서 같은 결과가 나왔다.1,2
검증에 쓰지 않은 변형에서 RSS 특징이 선택된 방향으로 반응한 비율은 0.952였다. 같은 수의 무작위 특징은 0.758이었다. 맥락·포장 변형과 국소 편집의 분리는 비교한 방법 각각보다 27개 중 24~26개 SAE에서 RSS가 더 강했고, 22개 SAE에서는 대비가 가장 컸다.
GPT-2 Small 8번 층 데모에서는 24개 프롬프트 모두에서 맥락·포장 변형이 더 크게 움직였다. 층 4, 6, 8, 10의 격차는 0.903, 0.717, 0.492, 0.390이었고, 네 층 모두 24개 중 23개 또는 24개 프롬프트가 같은 방향을 보였다. 논문의 1,000개 프롬프트 결과는 이 네 층에서 0.939~0.979다.2
표현 변화와 판단 실패는 다르다
연구진은 반복되는 표현 변화와 하류 판독의 부호 있는 기여, 판단 실패를 구분했다. 고정된 선형 판독에서는 특징의 기여가 판독 계수, 반응 크기, 선택 방향과의 정렬로 정확히 분해되고, 판단이 뒤집히는지는 변형 전 여유(clean margin)에도 달렸다. 안전 선형 프로브의 AUROC는 모든 변환에서 0.90을 넘었지만 판단의 4.2~9.5%가 바뀌었다.
안전 판독 두 개(Gemma 3 4B, Llama 3.1 8B 기준)에서 반복 실패를 예측하는 AUROC는 변형 전 여유만 쓰면 0.863과 0.901이었다. 변형 전 여유에서 RSS 지지 특징의 침식을 뺀 값을 쓰면 0.935와 0.958이며, 특징은 중앙값 20개와 19개였다. 전체 침식을 뺀 전체 잔여 여유를 쓰면 0.965와 0.964이고 특징은 415개와 862개다. 이는 실패 라벨을 아는 오프라인 순위다.1,2
| 점수 | 판독 1 | 판독 2 |
|---|---|---|
| 변형 전 여유만 | 0.863 | 0.901 |
| 변형 전 여유에서 RSS 지지 침식을 뺀 값 | 0.935 | 0.958 |
| 전체 잔여 여유 | 0.965 | 0.964 |
RSS는 판독을 보지 않고 특징을 고르는데도 20개와 19개 특징이 검증 변형의 로짓 변화를 R² 0.58과 0.63으로 복원했다. 이 특징 입력을 원래 값으로 되돌리면 변형에서 생긴 프로브 오류의 72.2%와 71.8%가 바로잡혔다. 위험 순위 상위 20%만 검토할 때 잡히는 오류는 전체 잔여 여유 기준으로 94.1%와 91.9%, RSS 지지 잔여 여유 기준으로 89.2%와 92.8%였다. 유해 거짓 음성은 같은 순서로 90.9%와 93.5%, 87.3%와 94.4%가 잡혔다.
RSS가 보존 비율을 극대화하지는 않는다. 선택 변형에서 침식 절댓값으로 순위를 매기는 방식은 판독을 쓰며 두 모델 모두 90% 넘게 유지한다. 연구진은 또한 각 사례에 쓰는 변화들의 집합이 핵심이며, 원래 계산을 대체하는 하나의 축소 프로브는 아니라고 밝혔다.2
이 결과는 같은 요청을 다르게 표현했을 때 안전 판독이 흔들리는 원인을 소수의 특징에서 추적할 수 있다는 근거가 된다. 변화가 크다고 곧 실패는 아니라는 연구진의 구분이 전제다. 실험에는 GPT-2 Small, Pythia-70M, Gemma 3 270M·1B·4B, Gemma 2 2B, Mistral 7B, Llama 3.1 8B의 공개 SAE 27개가 쓰였다.1,2