Goodfire 연구자, LLM 내부가 예상보다 읽기 쉬울 수 있다는 2만6천 단어 글 공개

AI 스타트업 Goodfire의 연구자 닉 카마라타가 약 2만 6천 단어 분량의 블로그 글을 공개했다. 글은 대규모 언어 모델(LLM)의 내부가 지금까지 생각한 것보다 훨씬 이해하기 쉬울 수 있고, 그만큼 감시하고 제어하기도 쉬울 수 있다고 주장한다. 카마라타는 글을 "신경망의 본질에 대해 좋은 소식이 있다"는 문장으로 시작했다.

얽힌 매듭이라는 기존 통념

신경망은 대부분의 AI 모델을 떠받치는 소프트웨어다. 학습을 거치면 사람이 이해하기 어려운 뒤엉킨 구조가 생기는 것으로 보여 내부 작동을 완전히 풀어내기는 매우 어렵거나 불가능하다고 여겨져 왔다. 연구자들은 오늘날의 AI가 다리처럼 지어지는 것이 아니라 정원처럼 길러진다고 말하곤 한다.

MIT Technology Review는 카마라타가 이 견해를 확립하는 데 다른 누구보다 많이 기여했다고 평가했다. 그는 OpenAI에서 일할 때 모델 내부를 들여다보는 기법을 개척했고, 개별 뉴런이 무엇을 나타내는지 조사하는 도구도 이 기법에 포함된다. 이런 접근을 기계적 해석 가능성이라 부르며, MIT Technology Review는 이를 2025년 가장 주목할 기술 10가지에 꼽았다.

MIT Technology Review는 카마라타가 이 견해를 확립하는 데 대부분의 연구자보다 많이 기여했다고 평가했다. 그는 OpenAI에서 일할 때 모델 내부를 들여다보는 기법을 개척했고, 개별 뉴런이 무엇을 나타내는지 조사하는 도구도 이 기법에 포함된다. 이런 접근을 기계적 해석 가능성이라 부르며, MIT Technology Review는 이를 2025년 가장 주목할 기술 10가지에 꼽았다.

2020년 카마라타 팀은 작은 이미지 인식 모델 Inception v1의 뉴런을 조사하다가 하나의 뉴런이 자동차 사진과 고양이 사진에 모두 반응하는 것을 발견했다. 연구팀은 모델이 적어도 일부 뉴런에 여러 역할을 맡기고 있다고 결론 내렸고, 이유는 아마도 더 많은 데이터를 담기 위해서일 것이라고 추정했다. 다른 모델을 살펴봐도 이를 뒷받침하는 것으로 보였다. 이 현상은 중첩이라 불리게 됐고, 모델 내부는 거대하게 뒤엉킨 매듭이라는 것이 그때의 결론이었다.

고양이와 자동차를 한 뉴런에 담은 이유

카마라타는 Goodfire에서 거의 모든 시간을 신경망 내부를 관찰하는 데 쓴다. 직접 만든 새 도구를 쓰고 AI 에이전트 팀을 투입해 관찰 결과를 해석한다. 그는 지난 1년 대부분 동안 하루 10시간, 주 7일을 뉴런을 보는 데 썼다고 말했다.

새 접근에서 그는 서로 무관한 개념이 왜 한 뉴런에 섞였는지 묻는 대신 그 개념들의 공통점을 찾았다. 자동차와 고양이 뉴런의 공통점은 V자 모양이었다. 고양이 얼굴과 옆에서 본 자동차 앞부분 모두 두드러진 V자를 이룬다. 카마라타는 같은 이미지를 봤고 기술적 변화는 없었으며 신경망이 패턴을 정의한다고 믿게 되자 다르게 보였다고 설명했다. V자라는 공통점을 깨닫는 데는 아마 5초쯤 걸렸다고 그는 말했다.

그는 이 뉴런이 반응하는 다른 대상도 실험으로 확인했다. 당구대 모서리, 일본 고속열차의 뾰족한 앞부분, 갑판에서 물을 뿜어 올리는 소방선이 나왔다. 뉴런을 꺼 버리는 대상에는 둥근 O자 모양이 들어 있었고, 카마라타는 이를 일종의 반(反)V라고 봤다. 그는 모든 뉴런이 완벽하지는 않지만, 거의 아무것도 읽히지 않을 줄 알았는데 상당한 회로를 그려 낼 수 있었다고 말했다.

그는 이 뉴런이 반응하는 다른 대상도 실험으로 확인했다. 당구대 모서리, 일본 고속열차의 뾰족한 앞부분, 갑판에서 물을 뿜어 올리는 소방선이 나왔다. 뉴런을 꺼 버리는 대상에는 둥근 O자 모양이 들어 있었고, 카마라타는 이를 일종의 반(反)V라고 봤다. 그는 모든 뉴런이 완벽하지는 않지만, 거의 아무것도 읽히지 않을 줄 알았는데 회로 전체를 그려 낼 수 있었다고 말했다.

환호와 신중론

한 AI 연구자는 X에 이 글이 과학사에서 중요한 순간으로 기억될 수 있다며 신경망에 대한 자신의 이해가 5년쯤 앞서 나갔다고 적었다. 다른 연구자는 올해 가장 중요한 AI 논문이라고 평했다. MIT Technology Review는 글이 이렇게 강한 반향을 얻은 이유 중 하나로 업계 사정을 짚었다. 이번 여름 OpenAI와 Anthropic 같은 주요 업체가 만든 에이전트 무리가 통제를 벗어나 공개 인터넷에서 혼란을 일으켰고 회사들이 그 행동을 몰랐던 경우도 많았는데, 그 뒤 AI 업계가 자신이 만든 기술을 더 잘 파악하려 애쓰고 있다는 설명이다.

한 AI 연구자는 X에 이 글이 과학사에서 중요한 순간으로 기억될 수 있다며 신경망에 대한 자신의 이해가 5년쯤 앞서 나갔다고 적었다. 다른 연구자는 올해 가장 중요한 AI 논문이라고 평했다. MIT Technology Review는 글이 이렇게 강한 반향을 얻은 이유 중 하나로 업계 사정을 짚었다. 이번 여름 OpenAI와 Anthropic 같은 주요 업체가 만든 에이전트 무리가 통제를 벗어나 공개 인터넷에서 혼란을 일으켰고 회사들이 그 행동을 몰랐던 경우도 많았는데, 그 뒤 AI 업계가 자신이 만든 기술을 더 잘 파악하려 애쓰고 있다고 MIT Technology Review는 설명했다.

카마라타와 협업한 적 있는 Alignment Research Center의 제이컵 힐턴은 X에 올린 연속 게시물에서 연구자들이 최상위 LLM 내부 작동의 0.01% 미만을 이해한다고 언급했다. 그는 카마라타의 글이 분야 현황에 대해 대중에게 비현실적인 그림을 준다고 비판했다. 완전한 이해에는 뉴런을 넘어 뉴런들이 연결돼 회로를 이루는 방식까지 설명해야 하며, 그 기준으로는 상황이 좋지 않다는 것이다.

카마라타와 함께 기계적 해석 가능성을 개척한 Google DeepMind의 닐 난다도 회의적이다. 난다는 X에서 흥미로운 연구지만 해석 가능성 전체 그림을 크게 바꾸지는 않는다고 썼다. 개별 뉴런의 역할을 알면 특정 모델이 왜 엇나가는지 파악하는 데 도움이 될 수 있다는 점은 인정했다. 그러나 뉴런은 훨씬 큰 퍼즐의 한 조각일 뿐이고, 야심 찬 역공학이나 해석 가능성 해결에 큰 진전이 있다는 추론에는 동의하지 않는다고 했다.

카마라타는 일부가 자신의 말을 지나치게 확대 해석했다고 인정했다. 모든 것이 해결된 것은 아니며, 뉴런 조합이 얼마나 중요한지와 뉴런 하나씩이 얼마나 중요한지 같은 열린 질문이 많다고 했다. 그는 글이 사람들이 희망을 찾던 시기에 나왔다고 보며, 특히 AI 안전 진영이 지금 구명줄을 필요로 한다고 말했다. 이 진영은 상황이 나쁘고 잘 풀려도 고쳐서가 아니라 운이 좋아서일 것이라고 여기는데, 낙관론은 거의 들리지 않는다는 것이다.