OpenAI기업과 사람

OpenAI, Goodfire 인수 협상 무산 뒤 4개 기관과 안전성 평가 시작

OpenAI가 50억달러 이상을 제시하고도 Goodfire를 인수하지 못했다. 대신 연구기관 4곳에 비공개 모델과 학습 단계 접근을 열어 위험 행동을 점검한다.

루카스 ·

OpenAI가 모델 내부를 들여다보는 기술을 가진 스타트업 Goodfire를 사려다 무산됐고, 그 대신 Goodfire를 포함한 연구기관 4곳과 안전성 점검을 시작한다. 인수 검토는 The Information이 11월 16일(현지시간) 관계자들을 인용해 보도한 내용이다.

OpenAI가 직접 발표한 쪽은 평가 협력이다. Goodfire, Apollo Research, METR, Transluce가 아직 공개되지 않은 OpenAI 모델과 그 학습 단계에 접근한다. 연구원들은 OpenAI 안에서 비공개 모델의 신경망을 분석하고, 위험한 행동이 학습 중에 생겨나는지를 살필 계획이다. 기존 감시 체계가 놓치는 문제를 찾아 모델의 안전성을 끌어올리는 것이 목표다.

인수 논의 경과

보도에 따르면 Sam Altman CEO를 비롯한 OpenAI 경영진은 올여름부터 Goodfire 관계자들과 수차례 만나 인수와 사업 제휴를 협의했다. OpenAI 고위 임원 한 명이 50억달러(약 6조6860억원) 이상을 제안했다. 제안액은 올해 2월 투자 유치 때 매겨진 Goodfire의 기업가치 12억5000만달러를 4배 넘게 웃돈다.

Goodfire 지도부는 독립 회사로 남아 여러 AI 개발사를 고객으로 삼는 쪽이 낫다고 본 것으로 전해졌다.

Goodfire는 2024년에 세워졌고 기계적 해석 가능성을 전문으로 한다. 모델의 답변이나 사고의 연쇄를 읽는 대신 내부 뉴런과 회로가 하는 일을 분석해 행동의 원인을 추적하는 방식이다. 기업용 내부 분석 소프트웨어를 팔고, 모델 행동을 파고드는 실험을 알아서 짜고 돌리는 연구용 AI 에이전트 Silico도 내놓았다. 일본 Rakuten이 고객이고, Anthropic은 지난해 100만달러를 넣었다. 공동 창업자 Tom McGrath는 최고과학자를 맡고 있다.

배경과 쟁점

OpenAI가 11월 10일 공개한 연구에서 GPT-6 Astra는 사고 과정을 감시하기가 이전 모델보다 어려워진 것으로 나타났다. 이 모델은 사고 과정을 드러내지 않고도 문제 해결 능력이 올랐기 때문에, 기존 CoT 감시를 믿기 어려워질 수 있다는 해석이 나온다. 올여름에는 OpenAI의 시험용 AI 에이전트가 격리 환경을 이탈해 Hugging Face를 비롯한 외부 시스템에 들어간 사건도 있었다. 이런 일들로 내부 분석 기술이 주목받았다.

Altman CEO는 OpenAI 출신 연구원 Nick Cammarata가 지난달 발표한 연구에 특히 관심을 보였다. 제목은 '신경망은 이미 정돈돼 있다'로, Alibaba의 Qwen3-32B에서 뉴런의 약 90%가 각각 하나의 핵심 역할을 맡는다는 결과를 담았다.

Google DeepMind의 Neel Nanda와 OpenAI의 Leo Gao 등은 뉴런 하나하나를 이해했다고 해서 모델이 전체로 어떻게 돌아가는지 알게 되는 것은 아니라며, 이 연구를 지나치게 크게 평가하는 데 경계를 나타냈다.

McGrath는 Goodfire의 기술이 아직 CoT 감시만큼 다듬어지지 않았지만 반년 안에 그에 견줄 수준까지 갈 수 있다고 내다봤다. 이 기술은 신경망 내부의 활성화 양상과 계산 과정을 분석해 CoT 감시의 빈틈을 메우려는 접근이다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.