코드 모델의 Python 선호, 회로 탐색 예산 따라 '국소적'으로 달라 보인다

코드 모델은 프롬프트에 언어를 지정하지 않으면 Python으로 코드를 쓴다. 이 습관이 모델 안의 소수 구성요소에서 나오는지 따져 본 연구가 2026년 10월 14일 arXiv에 올라왔다. 연구진은 오픈 코드 모델 10종(기반 모델 5종, 지시 튜닝 모델 5종)과 대상 언어 3종(Rust, C#, PHP), 프롬프트 세트 2종, 구성요소 예산 2종을 조합한 55개 설정에서 같은 분석 절차를 돌렸다.

절차는 평균 제거(mean ablation), 활성화 패칭, 탐욕적 회로 추출, 무작위 대조군 유의성 검정, 활성화 조향으로 이어진다. 연구진은 전체 결과표를 공개해 분석 선택을 바꿔 볼 수 있게 했다고 밝혔다.

연구진이 보고한 다섯 가지 결과

Python 선호는 크고 모델 규모가 클수록 커지며, 지시 튜닝 뒤에도 사라지지 않았다. 지시 튜닝 체크포인트는 각각 대응하는 자기 기반 버전보다 선호가 컸고, 평균 차이는 12%였다.

선호의 크기는 측정 도구에 크게 좌우됐다. 연구진이 맞춘 프롬프트 대신 XLCoST 병렬 함수로 같은 모델을 재면 측정값이 약 1.6에서 약 0.01로 떨어졌다.

선호가 국소적으로 보이는지는 탐색이 남길 수 있는 구성요소 수에 달려 있었다. 예산이 12이면 15개 설정 중 1개에서, 예산이 40이면 15개 설정 중 6개에서 회로가 크기를 맞춘 무작위 대조군을 다중비교 보정 뒤에도 이겼다.

더 작은 예산을 쓴 연구가 일률적으로 실패한다고 보고한 개입이 일부 설정에서는 성공했다. 패칭으로 Python 프롬프트가 대상 언어 문법을 선호하게 만든 설정은 45개 중 2개였고, 조향으로 다음 토큰 1순위를 바꾼 설정은 45개 중 9개였다. 효과가 유의하지만 대상 언어와 반대 방향을 가리킨 회로는 모두 회로 추출이 실패한 설정에서 나왔다. 연구진은 이를 하나의 현상이 아니라 진단 신호로 본다.

연구진은 어떤 행동이 국소적인지에 대한 주장이 논문에 잘 적히지 않는 분석 선택에 따라 달라질 수 있다고 지적했다.