희소 오토인코더(SAE)는 보통 수억~수십억 개의 활성화 토큰으로 학습하는데, 이 규모가 꼭 필요한지 따져 본 연구가 2026년 10월 14일 arXiv에 올라왔다. 연구진은 지표에 따라 필요한 데이터량이 크게 달랐다고 밝혔다. 복원은 더 적은 예산에서도 전체 데이터 기준선에 근접하는 경우가 많았지만, 학습된 특징을 그대로 다시 얻는 비율은 데이터가 늘수록 계속 올랐다.
실험은 SAE 구조 4가지를 언어 모델 3종에 적용해 5M 토큰부터 500M 토큰 기준선까지 데이터 예산을 바꿔 가며 학습하는 방식으로 진행했다. 연구진은 표준 평가에서의 기능적 동작과, 학습된 특징이 일대일로 재현되는지(재현성)를 따로 측정했다.
기능 쪽 데이터 요구량은 지표에 따라 크게 달랐다. 복원은 상당히 작은 예산에서 전체 데이터 기준선에 근접하는 경우가 많았다. 반면 특징 재현성은 데이터가 늘수록 계속 좋아졌다. Gemma-2-2B의 BatchTopK 모델에서 엄격하게 일치한 특징의 비율은 5M 토큰에서 2%, 50M 토큰에서 29%였다.
데이터를 고르는 방식도 결과를 바꿨다. 무작위 추출은 원래 활성화 분포를 더 잘 보존해 대체로 복원에 유리했고, 다양성 기반 추출은 AutoInterp 점수를 자주 높였다. 이론 분석에서는 부분 표본 학습의 통계적 일관성과, 일대일 특징 복구에 필요한 더 강한 식별 가능성과 최적화 조건을 구분했다.
연구진은 목표에 맞춰 예산을 정하면 SAE 학습의 데이터 효율을 크게 높일 수 있고, 특징 수준의 주장에는 명시적인 재현성 검증이 뒤따라야 한다고 결론지었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.