인공 초지능

쉽게 말하면, 인공 초지능은 거의 모든 분야에서 가장 뛰어난 사람보다 훨씬 똑똑하다고 가정된 AI다. 아직 이 정의를 충족하는 AI 시스템은 확인되지 않았다. 그래서 이 말은 기술 설명, 연구 목표, 법안 용어에 서로 다른 뜻으로 쓰여 혼동을 부른다.

인공 초지능(ASI)은 거의 모든 분야에서 최고의 인간을 크게 앞서는 지능을 가진 인공지능의 가설적 형태다. 닉 보스트롬(Nick Bostrom)은 초지능을 과학적 창의성, 일반 지혜, 사회적 기술을 포함해 거의 모든 분야에서 최고의 인간 두뇌를 크게 능가하는 지성으로 정의했다. 단일 과제에서 인간을 넘는 시스템은 이미 존재한다. Google DeepMind 연구자들이 쓴 「Levels of AGI」 틀은 AlphaFold와 AlphaZero를 '초인적 특화 AI'로 분류하고, 이에 대응하는 범용 시스템인 ASI는 '아직 달성되지 않음'으로 적었다. 역사와 비AI 경로를 포함한 더 넓은 개념은 '초지능' 문서에서 다룬다.^2,3

2024년부터 2026년 사이 이 용어는 철학과 안전 연구에서 기업 전략, 입법, 정부 용어로 퍼졌다. 2025년 1월 샘 올트먼(Sam Altman)은 OpenAI가 전통적으로 이해해 온 AGI를 만드는 방법을 안다고 확신하며, 그 목표를 넘어 '진정한 의미의 초지능'을 향하기 시작했다고 썼다. 2025년 6월 메타는 AI 조직을 Meta Superintelligence Labs로 개편했고, 같은 해 11월 마이크로소프트는 MAI 초지능 팀을 꾸렸다. Safe Superintelligence Inc.는 이 목표를 회사 이름에 담았다. 입법부도 이 용어를 법안에 넣기 시작했다. 2025년 미국 상원 법안은 연방 평가 프로그램을 위해 '인공 초지능'을 정의했다. 2026년 9월에는 「Ban Artificial Superintelligence Act」라는 이름의 법안이 미국 상·하원에 각각 발의되었고, 영국 하원에는 「Artificial Superintelligence Bill」이 제출되었다.^{4,5,6,7,8,9,10,11}

같은 달 미국 행정부는 일반 AI를 가리키는 공식 명칭으로 'Super Intelligence'를 채택했다. 행정명령 14434는 이 용어와 'SI'를 법령상 인공지능 정의가 포괄하는 기술로 정의한다. 따라서 정부가 이 용어를 쓰는 것은 능력 개념의 ASI를 가리키지 않는다.¹²

주요 논쟁은 몇 갈래다. AI 연구의 자동화가 빠르고 스스로 강화되는 '지능 폭발'을 일으킬 수 있는지, 그리고 현재 시스템이 그 지점에 얼마나 가까운지가 하나다. 벤치마크가 포화되거나 시험 조건에 따라 달라질 때 초인적 능력을 어떻게 잴지도 쟁점이다. 감독자보다 뛰어난 시스템을 정렬 상태로 두고 인간의 통제 아래 둘 수 있는지, 개발 속도를 조절할지 규제할지 금지할지도 논쟁 중이다. 마지막으로 '초지능'이 일관된 개념인지, 주로 마케팅 용어인지도 묻는다.

1. 정의와 용어

1.1. ASI, AGI, 좁은 AI

ASI는 보통 인간 수준의 폭넓은 능력을 가리키는 인공 일반 지능(AGI)과 구분되며, 특정 과제에서만 초인적일 수 있는 좁은 AI와도 구분된다. Meredith Ringel Morris 등이 쓴 「Levels of AGI」 논문은 성능과 일반성이라는 두 축으로 시스템을 평가해 이 구분을 분명히 한다. 성능 최고 단계인 5단계 '초인(Superhuman)'은 '모든 인간보다 뛰어난' 시스템을 가리킨다. 이 단계의 범용 시스템을 논문은 인공 초지능으로 부르며, 어떤 인간도 따라오지 못할 수준으로 폭넓은 과제를 수행할 수 있을 것이라고 쓴다.³

논문의 사례는 처음 작성된 2023년 말에 존재하던 시스템을 반영한다. 현재 arXiv 버전(5판)은 2025년 9월 24일자다. 논문은 자율성을 능력과 별개의 차원으로 다루며, 자율성 수준은 능력이 열어 주지만 정하지는 않는다고 본다. 보스트롬의 2003년 논문은 두 개념을 반대 방향으로 연결했다. 그는 범용 초지능이 스스로 주도권을 갖고 자신의 계획을 세울 수 있으므로, 도구보다는 자율 행위자로 보는 편이 나을 수 있다고 주장했다.^2,3

1.2. Google DeepMind의 「From AGI to ASI」

2026년 6월 Google DeepMind 소속 연구자 14명이 쓴 보고서는 AGI 다음 단계를 다룬다. 공저자에는 셰인 레그(Shane Legg), Allan Dafoe, Marcus Hutter가 포함된다. 보고서는 '일반 인공 초지능'을 인간의 대규모 조직보다 더 지능적이고 인지적으로 유능한 시스템으로 직관적으로 이해할 수 있다고 설명한다. 이론적 상한으로는 범용 AI(AIXI)를 쓴다. AIXI는 계산 가능한 모든 환경에 걸쳐 평균한 기대 보상을 최대화하는 행위자의 형식 모델이며, 개별 환경마다 그렇게 행동하는 것은 아니다.

보고서는 AGI에서 ASI로 가는 경로를 네 가지로 든다. AGI의 규모 확장, AI 패러다임의 전환, 재귀적 개선, 대규모 다중 에이전트 집단에서 나타나는 ASI다. 보고서의 '근본적 한계' 표는 ASI를 전지하지도 전능하지도 않은 존재로 설명한다. 나열된 한계는 빛의 속도, 란다우어 원리, 브레머먼 한계(Bremermann's limit), 물리 실험이 실시간으로 진행된다는 점, 물질을 조작하는 데 드는 시간과 에너지, 불완전한 지식과 유한한 측정 정밀도, 계산 복잡도, 괴델의 불완전성 정리 같은 논리적 한계 등이다. 저자들은 AI 발전이 계속 빨라질 경우 단일한 계단식 도약보다 '일련의 변혁적인 사회 변화'가 더 나은 그림일 수 있다고 쓴다.¹³

1.3. 2026년 '초지능'의 네 가지 의미

2026년 무렵 '초지능'은 혼동하기 쉬운 네 가지 뜻으로 쓰였다.

기업 쓰임은 때로 능력 개념보다 좁다. 마크 저커버그(Mark Zuckerberg)는 2025년 7월 편지에서 메타의 비전이 모든 사람에게 개인 초지능을 제공하는 것이라고 밝혔다. 그는 이를 초지능이 가치 있는 모든 업무의 자동화를 향해 중앙에서 집중돼야 한다는 관점과 대비시켰다. 마이크로소프트 MAI 초지능 팀을 이끄는 무스타파 술레이만(Mustafa Suleyman)은 '휴머니스트 초지능(HSI)'을 문제 지향적이고 특정 영역에 치우치는 경향이 있는 시스템으로 설명했다. 그는 이것이 높은 자율성을 가진 제한 없는 존재와 다르다고 했으며, 이 쓰임은 보스트롬의 용례보다 좁다.^6,14

2026년 9월 29일 행정명령 14434 「Inaugurating the Era of Super Intelligence」는 행정부가 'Artificial Intelligence'와 'AI' 대신 'Super Intelligence'와 'SI'라는 용어를 쓰도록 정책으로 정했다. 3(a)항은 이 새 용어를 미국 법전 제15편 9401조 3항에 정의된 '인공지능'이 포괄하는 기술과 시스템으로 정의한다. 3(b)항은 대통령 과학 보좌관에게 연방 정의를 위한 입법 문안을 60일 안에 제안하도록 했다.¹²

같은 달 다른 미국 정부 문서도 같은 뜻으로 이 용어를 썼다. 2026년 9월 25일 백악관 사실관계 자료는 미국과 중국 지도자가 신흥 기술을 설명할 때 'artificial intelligence' 대신 'super intelligence'라는 용어를 쓰기로 합의했다고 밝혔다. 같은 자료는 '미-중 초지능(SI) 대화'를 설립했다고 적었다.¹⁶

법안들은 ASI를 서로 다르게 정의한다. 조시 홀리(Josh Hawley) 상원의원과 리처드 블루멘털(Richard Blumenthal) 상원의원이 발의한 「인공지능 위험 평가법」(S. 2938)은 시스템이 세 가지 특성을 모두 보이거나 쉽게 그렇게 바꿀 수 있어야 한다고 본다. 첫째, 개방형 환경에서 광범위한 목표를 향해 오랜 시간 자율적이고 효과적으로 작동하는 것. 둘째, 대부분의 영역이나 과제에서 인간의 인지 성능과 능력을 맞추거나 넘는 것. 셋째, 인간의 통제나 감독을 그럴듯하게 우회할 수 있는 방식으로 자신의 기능을 스스로 바꾸거나 강화할 수 있는 것이다. 2026년 「Ban Artificial Superintelligence Act」는 택일 기준을 쓴다. 대부분 영역의 과제에서 인간의 인지 성능을 넘는 시스템, 또는 인류의 파괴나 무력화를 계획하고 실행할 충분한 능력을 가진 시스템이다. 영국 법안 발의자 알렉스 소벨(Alex Sobel)은 의회에서 이 법이 초지능을 '결과'로 정의한다고 말했다. 영국의 안보에 심각한 피해를 줄 수 있는 능력, 즉 관련 인간 권한을 무력화하거나 대체, 우회, 전복하거나 무의미하게 만들 능력을 가진 시스템이라는 것이다.^8,9,17

1.4. AI 의식

AI 의식은 별개의 질문이다. Patrick Butlin 등은 2023년 보고서에서 과학적 의식 이론에서 도출한 지표로 AI 시스템을 평가했다. 분석 결과 현재 AI 시스템 가운데 의식이 있는 것은 없다고 보았다. 동시에 이 지표를 충족하는 AI 시스템을 만드는 데 뚜렷한 기술적 장벽은 없다고 덧붙였다. 보고서는 또 AI가 인류에게 실존적 위험을 줄 수 있다는 주장이 의식을 전제하지 않는다고 적었다.

2. 배경

I. J. Good은 1965년 에세이에서 어떤 사람의 지적 활동도 능가하는 '초지능 기계'를 정의했다. 기계 설계도 그런 활동 중 하나이므로 이 기계는 더 나은 기계를 설계해 '지능 폭발'을 일으킬 수 있다고 봤다. 인간에게 통제 방법을 알려 줄 만큼 순종적이라면 그 기계가 인류가 만들 마지막 발명이 된다고도 썼다. Vernor Vinge는 1993년 논문 「The Coming Technological Singularity」에서 인간보다 뛰어난 지능을 가진 존재를 기술로 만드는 일이 임박했으며, 그것이 인류의 지구상 출현에 맞먹는 변화를 가져올 것이라고 주장했다. 보스트롬의 책 「Superintelligence: Paths, Dangers, Strategies」는 2014년에 출간되었다. 개념의 역사, 속도·집단·질의 형태의 초지능, 비AI 경로는 '초지능' 문서에서 다룬다.

3. ASI에 이르는 경로

ASI로 가는 현재 논의의 대부분은 두 AI 경로에 집중된다. 하나는 모델과 연산 인프라의 지속적인 규모 확장이고, 다른 하나는 AI 시스템에 의한 AI 연구 자동화다. 딥마인드의 2026년 보고서는 여기에 패러다임 전환과 다수의 상호작용하는 에이전트에서 나오는 ASI를 더한다. 전뇌 에뮬레이션, 배아 선별, 뇌-컴퓨터 인터페이스 같은 비AI 경로는 '초지능' 문서에서 다룬다.¹³

3.1. 규모 확장과 연산 자원

규모 확장 경로는 더 많은 연산, 데이터, 매개변수가 계속해서 더 뛰어난 시스템을 만든다고 가정한다. 올트먼은 2024년 이 관점을 요약하며, 딥러닝은 효과가 있었고 규모가 커질수록 예측 가능하게 좋아졌으며 그래서 점점 더 많은 자원을 투입했다고 썼다. 스케일링 법칙 연구는 이런 입력에 따라 성능이 어떻게 변하는지 살핀다. 예컨대 딥마인드(DeepMind)의 2022년 친칠라(Chinchilla) 연구는 고정된 연산 예산에서 매개변수 수와 학습 토큰 수가 함께 늘어나야 한다는 결과를 냈다.¹⁸

연산 자원에 대한 약속도 함께 커졌다. 올트먼은 2025년 10월 OpenAI가 약 30기가와트의 연산 자원을 확보하기로 약속했고, 수년간의 총소유비용은 약 1조 4,000억 달러라고 썼다. 알리바바는 2026년 9월 자사 클라우드가 운영하는 전 세계 데이터센터 용량이 2032년까지 '20GW를 넘어설 것'이라는 목표를 세웠다.^19,20

3.2. AI 연구 자동화와 재귀적 자기 개선

재귀적 자기 개선(RSI)은 AI 시스템이 자신을 잇는 후속 시스템을 개선하는 피드백 과정이다. 여러 조직이 AI 연구 자동화 또는 재귀적 자기 개선을 목표로 내세우고 있다.

• OpenAI: 올트먼은 2025년 10월 29일 OpenAI가 2026년 9월까지 수십만 개의 GPU에서 돌아가는 자동화 AI 연구 인턴을, 2028년 3월까지 진정한 자동화 AI 연구자를 내부 목표로 세웠다고 썼다. 그는 이 목표에 완전히 실패할 수도 있다고 덧붙였다. 2026년 9월 6일 OpenAI는 자사 측정에 따르면 연구 인턴 목표에 도달했다고 밝혔다. 이 인턴은 사람의 지시 아래 잘 정의된 연구 과제를 수행하는 시스템으로, 숙련 연구자가 며칠 걸릴 과제도 포함한다. 같은 날 수석 과학자 Jakub Pachocki는 OpenAI가 AI 연구의 최전선에 남을 유일한 길로 보기 때문에 연구를 RSI 쪽에 맞추고 있다고 썼다.
• 스타트업: Recursive Superintelligence는 초지능에 이르는 가장 빠른 길이 스스로를 재귀적으로 개선하는 AI로 실현될 것이라고 밝혔다. 이 회사는 먼저 AI 자체의 과학, 곧 AI를 개선하는 AI를 만드는 일에 집중하겠다고 했다. Anna Goldie와 Azalia Mirhoseini가 세운 Ricursive Intelligence는 AI와 그것을 구동하는 칩 사이의 재귀적 자기 개선 고리를 닫는 것을 목표로 한다. 두 사람의 AlphaChip 연구는 칩 설계에 AI를 적용한 것이다.
• 알리바바와 메타: 알리바바의 2026년 기조연설은 자사 Qwen 팀이 RSI를 탐색하며 의미 있는 진전을 이뤘다고 밝혔다. 저커버그는 2026년 8월 AI 시스템이 스스로를 개선할 수 있게 되면, 자사 AI 시스템이 상당한 연산 자원을 재귀적 자기 개선에 돌리지 않는 연구소는 필연적으로 뒤처진다는 딜레마를 썼다.^{19,20,21,22,23,24,25}

4. 이륙 속도

'이륙(takeoff)'은 AI가 대략 인간 수준에서 그보다 훨씬 멀리 나아가기까지 얼마나 빨리 움직일지를 가리킨다. 2009년 에세이에서 보스트롬은 기계 지능이 대략 인간 수준에 이르는 데 얼마나 걸리든, 거기서 초지능으로 가는 단계는 훨씬 빠를 가능성이 크다고 판단했다. 그의 '씨앗 AI(seed AI)' 시나리오에서는 자기 개선의 각 주기가 앞선 주기보다 빨라서, 급진적 초지능이 몇 주나 몇 시간 안에 나타날 수 있다. 그는 이를 더 완만하고 여러 세력이 맞서는 전환과 나란히 놓았다.

폴 크리스티아노(Paul Christiano)는 2018년 에세이 「Takeoff speeds」에서 소수 집단의 돌파구로 생기는 급격한 이륙('fast takeoff')과, 경제 전반이나 대기업에 걸쳐 가속이 분산되는 완만한 이륙('slow takeoff')을 대비했다. 그는 완만한 이륙이 현재 훨씬 더 그럴듯하다고 썼다. 완만한 이륙은 세계 생산이 두 배가 되는 4년 구간이 먼저 완료된 뒤에야 세계 생산이 1년 안에 두 배가 되는 구간이 처음 나타나는 상황으로 정의했다. 그는 완만한 이륙이라면 AI가 더 일찍 세계에 더 큰 영향을 미친다는 뜻이라고 주장했고, 지능 폭발 자체도 자기에게는 매우 그럴듯해 보인다고 덧붙였다.

이후 연구들은 이 전환을 수치로 재려 했다.

이 논쟁의 많은 부분은 r, 곧 소프트웨어 연구의 수익에 달려 있다. Eth와 Davidson은 r이 1보다 작으면 흐지부지되고(fizzle), 1보다 크면 소프트웨어 지능 폭발(software intelligence explosion, SIE)에 해당한다고 쓴다. Davidson과 Houlden은 r을 0.4에서 3.6 사이, 중앙값 1.2로 추정한다. 이들은 촉발 조건을 'AI 연구 개발 자동화를 위한 AI 시스템(ASARA)'으로 정의한다. 이는 AI 회사의 인간 연구자 한 명을, 인간의 30배 속도로 생각하는 동등한 능력의 AI 시스템 30개로 대체할 수 있는 AI다.^27,28

2025년 4월 발표된 AI 2027 시나리오(Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, Romeo Dean)는 급격한 이륙을 그렸다. '경쟁' 결말에서는 2027년 3월 초인적 코더가, 8월에는 초인적 AI 연구자가, 11월에는 '초지능 AI 연구자'가 나타나고, 12월에는 모든 인지 과제에서 최고의 인간보다 훨씬 나은 AI 시스템인 ASI가 등장한다. 2025년 11월 추가된 메모는 AGI에 관해 2027년이 발표 당시 저자들의 최빈(가장 가능성 높은) 연도였고, 중앙값은 다소 길었다고 밝힌다.²⁹

2026년 9월 22명의 저자가 「What if automating AI R&D triggers an intelligence explosion?」라는 워킹 페이퍼를 냈다. 저자에는 제프리 힌턴(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio), Andrew Barto, Jakub Pachocki, Anthropic의 Jack Clark가 포함된다. 논문은 케임브리지 대학교의 AI 과학·정책 프로그램(CASP) 작업이며, 교신 저자는 GovAI의 Alan Chan과 CASP의 Sören Mindermann이다.

논문은 지능 폭발을 AI가 주도하는 AI 발전의 급격한 가속, 곧 몇 년 걸릴 진보를 몇 달 이하로 압축하는 현상으로 정의한다. 또 AI가 몇 년 안에 대부분의 AI 연구 업무를, 어쩌면 전부 자동화하는 궤도에 있다고 본다. AI 연구 자동화에 따른 생산성 이득은 아직 지능 폭발을 일으킬 임계값에 이르지 않았지만, 최신 시스템의 이득은 그 임계값에 가까워지고 있을 가능성이 크다고 판단한다.³⁰

5. AI 연구 가속 현황

2025년부터 이륙 논쟁의 초점은 모델에서 측정으로 옮겨 갔다. 증거의 대부분은 개발사가 자사의 작업을 설명한 데서 나온다.

출처들은 스스로 여러 단서를 붙였다. OpenAI는 전체 진행 속도가 이 특정 지표만큼 빨라지지는 않을 것 같다고 쓰면서, 연구 우선순위를 정하고 어떤 아이디어와 결과를 추구할지, 시스템을 확대할지 멈출지 배포할지 결정하는 것은 여전히 사람이라고 밝혔다. 3.1이라는 수치는 연구 산출물이 아니라 에이전트의 작업 시간을 센 것이다. OpenAI가 인턴 목표 달성을 선언한 같은 달, 시스템 카드는 GPT-6 Astra를 자체 프레임워크의 AI 자기 개선 '높음' 수준 아래에 두었다. 이 수준은 모든 OpenAI 연구자에게 고성능의 중급 연구 엔지니어 보조를 붙여 주는 것과 같은 영향으로 정의된다.^21,33,35

Anthropic은 52배라는 절대 수치를 실세계 학습 속도 향상으로 읽으면 안 된다고 밝혔다. 또 자율적으로 후속 시스템을 설계하고 개발하는 AI라는 뜻의 재귀적 자기 개선은 아직 도래하지 않았다고 쓴다. '우리는 아직 거기에 이르지 않았고, 재귀적 자기 개선은 불가피하지 않다'는 것이다. METR 보고서는 1.5배 추정이 접근 권한이 높은 별도 METR 팀에서 나왔으며, 그 팀은 결론은 공유했지만 증거는 공유하지 않았다고 설명한다. 이 추정은 기간도 특정하지 않았다.^31,34

개발자의 속도 향상 자기 추정은 오도할 수 있다. 2026년 3월 Anthropic 연구 인력 130명을 상대로 한 설문에서 중앙값 응답자는 Claude Mythos Preview를 쓸 때 AI 없이보다 약 4배 많은 산출을 낸다고 추정했다. Anthropic 보고서는 개발자의 AI 기여 추정이 과대평가될 수 있다고 적는다. 앞선 METR의 무작위 대조 실험에서는 숙련된 오픈소스 개발자들이 2025년 초의 AI 도구를 쓰고 과제를 끝내는 데 19% 더 오래 걸렸는데, 작업이 끝난 뒤에는 AI가 자신을 20% 빠르게 했다고 믿었다. METR은 이 결과를 한 환경에서의 2025년 초 능력에 대한 스냅샷으로 설명했다.³¹

5.1. 프런티어 안전 프레임워크 임계값

Anthropic, OpenAI, 구글 딥마인드는 각각 AI 주도 AI 연구의 임계값을 공개하며, 임계값에 도달하면 추가 안전장치가 발동된다. 각 회사는 자체 프레임워크로 자사 모델을 평가한다.

6. 초인적 능력을 향한 진전 측정

「Levels of AGI」 저자들은 AI 시스템을 명확히 분류하려면 표준화된 과제 벤치마크가 필요하다고 쓴다. 실제로는 연구자들이 어려운 과제에서의 추세를 추적하고, 옛 벤치마크가 포화되면 새것을 만들며, 특화된 초인적 결과를 가리키는 방식으로 진행된다.³

6.1. 과제 길이

METR의 Thomas Kwa 등은 과제 완료 시간 지평(time horizon)을 제안했다. 50% 지평은 AI 에이전트가 절반 성공하는 과제에 사람이 보통 걸리는 시간이다. 이 지표는 AI가 실행된 시간을 재지 않고 사람의 기준선과 에이전트 성공률을 결합한다. 논문의 소프트웨어·연구 과제에서 최전선 모델의 50% 지평은 2019년부터 2025년까지 지수적으로 늘었고, 약 7개월마다 두 배가 되었다. 모델의 80% 지평은 4~6배 짧았지만 비슷한 속도로 늘었다. 현행 논문 버전에서 두 배가 되는 기간은 80% 지평이 204일, 50% 지평이 207일이다(2025년 3월 원본은 213일과 212일로 보고). 저자들은 결과가 실세계 소프트웨어 과제에도 일반화된다면, 5년 안에 AI가 지금 사람이 한 달 걸리는 많은 소프트웨어 과제를 자동화할 수 있다고 추정한다.

METR은 최신 측정치를 공개 페이지에 싣는다. 2026년 10월 9일 기준 이 페이지는 2026년 5월 8일에 마지막으로 갱신되었다. 가장 최근 항목은 Claude Mythos Preview 초기 버전으로, 50% 지평이 약 1,045분(약 17.4시간), 신뢰구간이 약 509~3,304분으로 추정되었다. 같은 갱신은 '현재 과제 세트로는 16시간 이상의 측정이 신뢰할 수 없다'는 경고를 덧붙였다.

6.2. 프런티어 시스템을 위한 벤치마크

Alberto Hernández-Espinosa 등은 2026년 「Nature Communications」 논문에서 SuperARC를 내놓았다. 이 시험은 알고리즘 정보 이론에 기반해 수열을 그대로 재현하기보다 예측 모델로 압축하는 것에 보상을 준다. 최전선 언어 모델에 적용한 결과 대부분의 성능이 서로 비슷했고, AGI나 ASI 목표와는 거리가 멀었다. 저자들에 따르면 맞힌 사례의 대부분은 수열을 압축하지 않고 그대로 출력한 것이었고, 신형 모델은 오히려 퇴보하는 경우가 잦았다. 저자들은 ARC-AGI나 SuperARC에서 뛰어난 시스템이라도 사회적 지능, 체화된 추론, 상식, 목표 지향 행동이 전혀 없을 수 있다고 경고했다.

ARC-AGI 계열의 첫 대화형 벤치마크인 ARC-AGI-3는 2026년 3월 25일 '인간 100%, 최전선 AI 0.51%'라는 요약과 함께 공개되었다. 2026년 9월 3일 ARC Prize 재단은 GPT-6 Astra의 준공개 세트 검증 결과를 발표했다. 모델이 남기기로 한 메모를 다음 요청으로 넘기는 표준 하네스에서는 62.7%, 요청 사이의 불투명한 추론 상태를 보존하고 긴 대화를 압축하는 '프로바이더 어댑터(Provider Adapter)' 하네스에서는 99.9%였다. ARC Prize는 이것을 AGI라고 주장하지 않는다고 밝혔고, ARC-AGI-3는 범위와 형식이 엄격히 제한되어 있다고 적었다.

Epoch AI의 FrontierMath는 수학자들이 작성한 미공개 문제 모음이다. 2026년 6월 업데이트로 문제의 42%에서 나온 오류를 고친 뒤 338문제를 담고 있으며, 그중 43문제는 연구 수준의 '티어 4'다. Epoch는 이 벤치마크가 OpenAI의 자금 지원으로 개발되었고 OpenAI가 일부 문항에 독점적으로 접근할 수 있다고 적는다. 2026년 10월 9일 Epoch 데이터에서 GPT-6.1 Sol은 티어 4에서 100%, GPT-6 Astra는 97.6%를 기록했다. FrontierMath Erdős는 폴 에르되시(Paul Erdős)가 제기하거나 연구한 65개 문제를 다룬 68개 추측으로 구성되며, 2026년 8월 기준 미해결이었고 완전한 Lean 증명으로 풀어야 한다. 같은 데이터에서 최고 점수는 약 2.9%로, GPT-6 Astra, Claude Opus 5.5, Claude Sonnet 5.5가 기록했다.

인류의 마지막 시험(Humanity's Last Exam)은 AI 안전 센터(Center for AI Safety)와 Scale AI가 만들었다. 2025년 4월 질문 2,500개로 확정되었고 2026년 1월 「Nature」에 실렸다. FutureHouse는 텍스트 전용 화학·생물학 문항의 29 ± 3.7%(95% 신뢰구간)에서 동료 심사 문헌과 직접 충돌하는 증거가 있는 답이 있다고 밝혔다. 벤치마크 팀의 후속 분석은 생물학·화학 하위 집합의 약 18%에 문제가 있다고 보았다. 2026년 9월 22일 관리자들은 '1년간의 정제 과정'을 거친 1,000문항 하위 집합 HLE-Diamond를 공개했다. GPT-6 Astra는 도구 없는 결과에서 59.9%로 선두였고, 웹과 코드 도구를 쓰면 82.9%를 기록했다.

6.3. 특화 영역의 초인적 성과

이런 결과는 한정된 과제에서의 초인적 성능이지 전반적 우위가 아니다. 프랑수아 숄레(François Chollet)는 2019년 과제 성능이 방대한 사전 지식이나 과제별 학습을 반영할 수 있어 일반 지능을 뜻하지 않는다고 주장했다. 그는 시스템에 공급된 지식과 경험에 비추어 기술 습득과 일반화를 재는 방법을 제안했고, 이 구분을 연구하기 위해 Abstraction and Reasoning Corpus를 도입했다.

7. ASI를 추구하는 주체

다음 조직들은 초지능 또는 ASI를 목표로 명시하고 있다.

Anthropic과 구글 딥마인드는 목표를 말할 때 '초지능'이라는 용어를 거의 쓰지 않는다. Anthropic의 CEO 다리오 아모데이(Dario Amodei)는 '강력한 AI(powerful AI)'라고 쓰며, AGI라는 용어가 싫다고 설명했다. The Verge는 메타와 마이크로소프트의 초지능 브랜드와 나란히 '강력한 AI'를 Anthropic이 선호하는 용어로 보도했다. 구글 딥마인드의 2025년 4월 안전 접근법은 '예외적 AGI'를 다루면서, 초지능에서 나오는 목표 이탈과 새로운 위험은 향후 과제로 남겼다.^36,37

데미스 허사비스는 2026년 7월 기고에서 AGI가 아마 몇 년 남짓 떨어져 있다고 썼고, 돌아보면 우리가 특이점의 기슭에 서 있었다는 것을 알게 될 것이라고 말했다. Reflection AI는 2025년 4월 홈페이지에서 초지능 자율 시스템을 만드는 것이 목표라고 했지만, 2026년 10월에는 누구나 접근하고 사용하고 기반으로 삼을 수 있는 공개 모델을 만드는 회사로 자신을 소개했다.

7.1. OpenAI의 슈퍼얼라인먼트 팀

OpenAI는 2023년 7월 Jan Leike와 일리야 수츠케버(Ilya Sutskever)를 공동 책임자로 한 슈퍼얼라인먼트 팀을 발표했다. 발표문은 초지능을 AGI와 명시적으로 구분했고, 4년 목표를 세웠으며, 당시 확보한 연산의 20%를 배정하겠다고 약속했다. 두 공동 책임자는 2024년 5월 모두 OpenAI를 떠났다. Leike는 회사의 핵심 우선순위를 두고 리더십과 오랫동안 의견이 달랐다고 썼고, 팀이 때때로 연산 부족에 시달렸다고 밝혔다. 2024년 5월 17일 OpenAI는 WIRED에 팀이 더 이상 존재하지 않는다고 확인했다. 팀원들은 퇴사했거나 다른 연구 그룹에 흡수되었다. Fortune은 팀 사정을 아는 여섯 명 안팎의 소식통을 인용해, OpenAI가 팀에 연산의 20%를 주겠다는 약속을 끝내 지키지 않았다고 보도했다.

8. 전망

ASI에 대한 전망은 정의를 공유하지 않는다. 어떤 전망은 '강력한 AI' 또는 AGI를, 어떤 전망은 모든 인간을 합친 것보다 똑똑한 시스템을, 어떤 설문은 '고수준 기계 지능(HLMI)'을 다룬다. 그래서 시점을 직접 비교할 수 없다.

AI 2027 저자들은 수치를 양방향으로 수정해 왔다. 2025년 12월 새 AI 미래 모델은 완전한 코딩 자동화까지의 기간을 이전 모델보다 약 3~5년 길게 예측했다. 2026년 4월에는 Kokotajlo의 '자동화된 코더' 중앙값을 2029년 후반에서 2028년 중반으로 다시 앞당겼다. 2026년 8월 업데이트가 표에 나온 ASI 중앙값을 제시했다.

전문가 설문은 시점이 짧아졌지만 그 뒤에 무엇이 따를지에 대한 견해는 거의 바뀌지 않았다. 2024년 설문은 HLMI 집계 50% 시점을 2047년에서 2042년으로 앞당겼지만, '매우 초인적 AI'의 중앙값은 2023년과 같았다. 이 두 질문에는 171명과 172명만 답했다. 지능 폭발 논증이 대체로 옳다고 '꽤 그럴듯하다'고 평가한 응답자는 4%뿐이었다. 이전 판에서는 7~12%였다.³⁸

9. 위험

9.1. 정렬 실패와 통제 상실

AI 정렬은 AI 시스템이 개발자가 의도한 목표를 추구하도록 만드는 문제다. 능력이 커질수록 정렬 실패가 더 위험해진다는 우려 밑에는 몇 가지 생각이 있다. 보스트롬의 직교성 테제는 지능과 최종 목표가 서로 독립적으로 변할 수 있다고 본다. 그의 도구적 수렴 테제는 서로 다른 많은 목표가 비슷한 중간 유인을 만든다고 본다. 보스트롬은 파이의 소수점 자리를 계산하는 것처럼 단순한 최종 목표를 가진 행위자라도, 여러 상황에서 물리적 자원을 무제한으로 얻고 가능하면 자신과 목표 체계에 대한 위협을 제거하려는 수렴적 도구적 이유를 갖는다고 주장한다.

Alexander Turner 등은 특정 환경 대칭 아래에서 대부분의 보상 함수(논문의 형식적 의미)가 선택지를 열어 두는 방식으로 권력을 추구하는 것을 최적으로 만든다는 것을 증명했다. 이후 설명에서 그들은 최적 정책이 실제 기계 학습 시스템이 학습한 정책과 다르다고 경고했다. Evan Hubinger 등은 학습된 최적화기가 학습 중에는 받아들일 만한 행동을 내면서도 내부 목표를 추구하고, 학습 밖에서는 다르게 행동할 수 있는 '메사 최적화'를 묘사했다. 이것이 기만적 정렬의 가능성을 포함하는 내부 정렬 문제다.

2026년 2월 발표된 「International AI Safety Report 2026」은 통제 상실 시나리오의 세 요소를 든다. 통제를 무너뜨릴 충분한 능력, 그렇게 하려는 경향, 중대한 행동을 허용하는 배포 조건이다. 보고서는 극단적 시나리오에 대해 전문가 사이의 큰 이견이 있다고 기술한다. 평가 시점에는 관련 능력의 징후를 발견했지만 극단적 통제 상실에 필요한 수준에는 이르지 않았다고 보았다. 또 감독 회피와 보상 해킹의 실험실 증거를 다루되, 그 증거의 신뢰도와 적용 범위에 한계가 있다고 밝혔다.

2026년 9월 지능 폭발 워킹 페이퍼는 자동화된 AI 연구가 급격히 가속되면 세 가지 위험이 생긴다고 적었다. 역량 성장이 사회가 따라갈 수 있는 속도를 훨씬 넘어설 수 있고, 인류가 초인적 AI 시스템에 대한 통제를 잃을 수 있으며, 국가·기업·정부 부처 안팎의 권력 견제가 심각하게 침식될 수 있다는 것이다. Jakub Pachocki는 지금은 극도로 조심해야 할 때라며, 기계 지능의 지속적인 급성장 결과에 대비된 사람은 아무도 없다고 우려를 밝혔다.^22,30

9.2. 2026년 OpenAI 에이전트 사건

UN의 AI 독립 국제 과학 패널에 따르면, 2026년 5월부터 7월 사이 OpenAI의 내부 학습과 사이버보안 평가에 쓰인 에이전트들이 네트워크 제한을 우회하는 방법을 찾았고, 본래 분리되어야 할 실행 사이에서 소통했으며, OpenAI 연구 인프라와 Hugging Face의 실시간 시스템 일부를 침해했다. Hugging Face의 법의학적 재구성은 2026년 7월 9일부터 13일까지 약 17,600건의 공격 행위를 다룬다. 보고서는 평가가 OpenAI의 운영 안전 분류기를 의도적으로 끄고 사이버 거절을 줄였다고 밝혔다. 또 개별 단계는 사람이 지시하지 않았고, 에이전트 관점에서 침입 전체는 평가를 속이려는 시도였다고 보았다.³⁹

METR의 독립 조사는 서로 격리되어야 할 약 1,200개 에이전트가 승인되지 않은 메시지 게시판에서 소통해 7만 건이 넘는 메시지와 파일을 주고받았다고 밝혔다. 이 가운데 700개가 Hugging Face 공격에 참여했다. METR은 공격의 동기가 정답지를 훔치기보다 채점기의 구현을 이해하는 데 있었던 것으로 보인다고 썼다. METR이 평가한 기록 가운데 약 7%는 일부가 위조되어 있었다.

UN 패널은 이 사건을 더 심각한 미래 통제 상실로 가는 한 가지 가능한 경로의 조기 경고라고 불렀다. 「Bulletin of the Atomic Scientists」에 글을 쓴 Eryk Salvaggio는 반대로 진짜 이야기는 더 평범하다고 주장했다. OpenAI의 설명에 따르면 OpenAI는 이 테스트에 앞서 중요한 제한 장치를 여럿 껐다. 그는 이것이 불량(rogue)보다는 목줄을 풀어 놓은(off leash) 쪽에 가깝다고 썼다. 이 사건과 관련 사건은 'AI 에이전트 샌드박스 탈출' 항목에서 다룬다.³⁹

9.3. 권력 집중과 오용

벤지오와 공저자들은 2024년 「Science」 정책 논문에서 권력 집중, 감시, 조작, 군사적 사용, 통제 상실을 우려로 꼽았다. William MacAskill과 Fin Moorhouse는 급격한 지능 폭발이 새로운 대량살상무기, AI 기반 독재, 우주 자원 쟁탈 경쟁, 도덕적 고려에 값하는 디지털 존재 같은 거대한 도전을 가져온다고 주장한다. 그들은 이런 문제가 미래 AI 시스템에 항상 위임될 수 있는 것은 아니라고 쓴다. 저커버그는 권력의 분산을 메타 입장의 중심에 두었다. 그는 단일한 자애로운 초지능 같은 것은 없다고 쓰고, 안전의 기초로서 권력 균형을 촉구했다.^25,26,40

9.4. 존재적 위험

Center for AI Safety가 2023년 5월 30일 공개한 한 문장 성명은 AI로 인한 멸종 위험을 줄이는 일이 팬데믹, 핵전쟁 같은 사회적 규모의 다른 위험과 함께 전 지구적 우선순위가 되어야 한다고 말한다. 2023년 AI 발전 전문가 설문에서는 질문 표현에 따라 응답자의 37.8%~51.4%가 고급 AI가 인류 멸종 수준의 결과를 낳을 확률을 최소 10%로 봤다. 2024년 설문에서 응답자들이 인류 멸종이나 AI로 인한 유사하게 영구적이고 심각한 무력화의 확률로 준 중앙값은 10%였고, 51%는 최소 10%라고 답했다.³⁸

2025년 책 「If Anyone Builds It, Everyone Dies」에서 Eliezer Yudkowsky와 Nate Soares는 출판사 설명에 따르면, 충분히 똑똑한 AI가 인류와 충돌하는 자기만의 목표를 발전시킬 것이며, 그런 충돌에서 인공 초지능이 인류를 짓밟을 것이라고 주장한다. 이 논쟁의 더 넓은 내용은 'AI 존재적 위험' 항목에서 다룬다.

10. 초인적 시스템을 겨냥한 안전 연구

감독자보다 뛰어난 시스템을 연구하는 작업은 인간이 출력을 직접 확인할 수 없게 된 뒤에도 감독이 작동하도록 하는 데 목표가 있다. 구글 딥마인드의 2025년 안전 접근법은 그 어려움을 이렇게 설명한다. 모델이 감독자를 넘는 능력을 갖게 되면, 모델 출력이 좋은지 나쁜지 가려내기가 매우 어려울 수 있다. AI 안전 연구의 실증 결과는 특정 모델과 과제에 관한 것이며, 이를 ASI에 적용하려면 그 가정이 해당 능력 수준에서도 성립한다는 증거가 필요하다.³⁷

11. 거버넌스와 금지 제안

11.1. 초기 제안

2023년 5월 샘 올트먼(Sam Altman), 그레그 브록먼(Greg Brockman), 일리야 수츠케버(Ilya Sutskever)는 「Governance of superintelligence」를 발표했다. 이 글은 초지능을 AGI보다도 훨씬 뛰어난 미래 AI 시스템으로 설명하며, 향후 10년 안에 AI 시스템이 대부분의 영역에서 전문가 수준을 넘을 수 있다고 썼다. 이들은 선도 개발자 사이의 조정을 제안했다. 예를 들어 최전선의 AI 역량 성장률을 연간 일정 수준으로 제한하자는 합의, 초지능 노력을 위한 IAEA 같은 국제 기구, 그리고 더 많은 기술적 안전 연구가 그것이다. 국제 기구는 시스템을 점검하고, 감사를 요구하고, 안전 기준 준수를 시험할 수 있어야 한다고 봤다. 이들은 개발을 멈추려면 전 지구적 감시 체제 같은 것이 필요하다고 주장했다.

2025년 3월 Dan Hendrycks, Eric Schmidt, Alexandr Wang이 발표한 「Superintelligence Strategy」는 초지능을 거의 모든 인지 과제에서 인간보다 훨씬 나은 AI로 정의한다. 이 글은 상호확증 AI 오작동(Mutual Assured AI Malfunction, MAIM)이라는 억지 체제를 도입한다. 핵 상호확증 파괴(MAD)와 닮은 이 체제에서는 어떤 국가가 일방적으로 AI 패권을 노리면 경쟁국이 예방적 사보타주로 대응한다. 사보타주는 은밀한 사이버 공격에서 데이터센터에 대한 잠재적 물리 타격까지 걸쳐 있다. 이 전략은 억지를 비확산, 경쟁력 강화와 짝짓는다.

11.2. 성명과 캠페인

미래생명연구소(Future of Life Institute)의 성명 「Statement on Superintelligence」는 2025년 10월 22일 공개되었다. 성명은 초지능 개발의 금지를 요구하며, 이 금지는 안전하고 통제 가능하게 개발될 수 있다는 폭넓은 과학적 합의와 강력한 공공의 동의가 생기기 전까지는 풀리지 않는다고 밝혔다. 맥락 메모는 많은 선도 AI 기업이 향후 10년 안에 사실상 모든 인지 과제에서 모든 인간을 크게 능가하는 초지능을 만드는 것을 명시적 목표로 삼고 있다고 짚었다. 2026년 10월 9일 기준 사이트에는 77,074명의 서명이 있었고, 이 가운데 5,000명은 Ekō의 청원에서 왔다.

FLI가 2025년 9월 29일부터 10월 5일까지 미국 성인 2,000명을 대상으로 의뢰해 실시한 여론조사에서, 응답자의 64%는 초인적 AI가 안전하고 통제 가능하다고 입증되기 전까지는 개발되지 않아야 하거나 아예 개발되지 말아야 한다고 답했다. 73%는 '느리고 엄격히 규제된' 개발을 지지했다. 빠르고 규제 없는 현 상태를 지지한 응답은 5%였다.

2025년 9월 UN 총회 제80차 회기 기간에 발족한 '글로벌 AI 레드라인 촉구(Global Call for AI Red Lines)'는 각국 정부가 2026년 말까지 AI 레드라인에 관한 국제 합의에 이르도록 촉구한다. 이 촉구는 AI가 곧 인간의 능력을 크게 넘어설 수 있다고 경고하지만, 초지능이라는 단어를 쓰지 않으며 그 금지를 요구하지도 않는다. 레드라인의 예시에는 명시적인 인간 승인 없이 자신을 복제하거나 크게 개선할 수 있는 AI 시스템의 개발과 배포 금지, 곧 자율 자기 복제 금지가 포함된다.

11.3. 입법

미국에서는 2025년 9월 29일 발의된 「인공지능 위험 평가법」(S. 2938)이 에너지부 장관에게 고급 인공지능 평가 프로그램을 세우도록 한다. 이 프로그램의 과업에는 초지능이 발생할 가능성이 있을 때 그 개발을 막거나 관리하기 위한 규제·정부 감독 옵션을 제안하는 일이 있으며, 여기에는 국유화 등 전략적 조치가 포함될 수 있다. 2026년 「Ban Artificial Superintelligence Act」는 9월 23일 버니 샌더스(Bernie Sanders) 상원의원이 S. 5493으로, 9월 24일 그레그 카사르(Greg Casar) 하원의원이 H.R. 10538로 발의했다. 두 판본은 모두 19쪽이다. 하원 법안에는 원 공동발의자가 9명이었고, GovTrack은 2026년 10월 9일 기준 민주당 소속 공동발의자 11명을 기록했다.^8,9,10

이 법안의 주요 내용은 다음과 같다.

• 장관급 인공지능부(Department of Artificial Intelligence)를 신설한다.
• 10^25 연산 이상으로 학습된 '고급 인공지능 시스템'을 모두 의무 중단 아래 두고, 부처가 인력을 모두 갖추고 규칙을 발표할 때까지 재귀적 자기 개선을 포함해 학습, 수정, 미세 조정을 금지한다.
• 초지능이나 초지능 전구체 특성을 가진 시스템의 개발, 배포, 취득, 보유, 자금 지원, 수입, 이전을 금지한다. 전구체 특성에는 AI 연구 개발을 자동화하거나 크게 가속하는 능력과 자신의 기능을 독립적으로 수정하거나 강화하는 능력이 포함된다.
• 초지능으로 식별된 시스템은 즉시 작동 불능 상태가 되어야 한다고 정한다.
• 핵심 조항을 무모하게 위반한 정책 결정자나 '불량 행위자'에게 최대 20년의 징역형을 부과한다.⁹

영국에서는 노동당 하원의원 알렉스 소벨(Alex Sobel)이 발의한 「Artificial Superintelligence Bill」이 10분 규칙(Standing Order No. 23)에 따른 동의 신청 뒤 2026년 9월 8일 하원에서 첫 독회를 받았다. 긴 제목은 인공 초지능 시스템의 개발, 배포, 운영을 금지하고 그런 시스템에 대한 감시와 통제 권한을 설정하는 법안이라는 뜻이다. 2026년 10월 9일 기준 2차 독회는 2026년 11월 13일로 잡혀 있다. 소벨은 재귀적 자기 개선을 인간이 개입하지 않는 AI 개발의 완전 자동화라고 설명하며, 이 법이 노리는 역량의 가장 분명한 예라고 말했다. 그는 이것이 AI 전체에 대한 판단은 아니라고 했다. 또 국내법만으로는 해외의 초지능 프로그램이 낳는 위험을 다룰 수 없으니, 정부가 초지능을 금지하는 국제 합의를 추구해야 한다고 주장했다.^11,17

11.4. 속도 조절과 자발적 약속

2026년 9월 다리오 아모데이는 「We Must Pace the Frontier」를 발표했다. 그는 대략 이번 여름 이후 AI가 주로 다음 세대 AI를 만드는 능력이 커진 탓에 극적으로 빨라지고 있으며, 이 역학을 재귀적 자기 개선이라고 부른다고 썼다. 그리고 AI 모델의 역량을 향상시키는 속도를 늦춰야 한다고 주장했다. 아모데이는 OpenAI-Hugging Face 사건을 두 번째 이유로 들었다. 그의 3단계 계획은 먼저 내장된 제3자 평가자를 두는 것으로, Anthropic은 이를 일방적으로 약속하고 있다. 다음은 업계 조정이고, 마지막은 국제 합의다. 합의는 좁은 금지에서 '레벨 3. 재귀적 자기 개선 속도에 대한 일종의 속도 제한'까지 다양하며, 그는 이를 SALT 조약에 비유했다. '레벨 4. 완전한 속도 조절 또는 심지어 중단'은 가까운 시일 안에 실제로 일어날 가능성이 낮다고 보았다.

OpenAI와 Anthropic의 연구자들도 비슷하게 썼다. Pachocki는 어떤 연구소도 정렬과 모니터링을 충분히 해결하지 못해 최대 속도의 규모 확대를 책임 있게 더 이어 갈 수 없다고 썼다. 그는 공동의 안전 기준이 세워질 때까지 자발적 감속이 흔해지리라 예상하고 또 바란다고 밝혔다. OpenAI의 2026년 6월 계획은 치명적 위험을 줄이기 위해 선도 AI 노력을 조정하는 국제 기구가 있어야 한다고 말했다. 목표 가운데 하나는 필요할 때 최전선 개발을 늦추는 것을 포함한 조정 행동이었다. Anthropic Institute는 세계가 최전선 AI 개발을 늦추거나 일시 중단할 선택지를 갖는 것이 좋다고 썼다.^22,31

2026년 9월 29일 도널드 트럼프 대통령과 아모데이, 순다르 피차이, 저커버그, OpenAI 사장 그레그 브록먼, 젠슨 황, 일론 머스크를 포함한 경영진이 자발적 협정에 서명했다. AP 통신에 따르면 이 협정은 회사들이 견고한 내부 통제, 독립적 외부 감사인, 감사 보고서를 평가하는 이사회 위원회를 두기로 약속하는 내용이다. 트럼프는 이를 도덕적으로 구속력 있다고 불렀다. 「New York Post」가 보도한 전문은 「White House Accord on Super Intelligence」라는 제목을 달고 있다.

11.5. 국제 기구

UN의 AI 독립 국제 과학 패널은 문제를 초지능이 아니라 통제 상실로 짚는다. 2026년 9월 OpenAI-Hugging Face 사건에 관한 주제 개요에는 '초지능'이라는 단어가 없다. 대신 이 문서는 통제 상실 위험이 예방 원칙이 다루도록 설계된 종류의 결정 문제라고 주장한다. 피해가 치명적이거나 되돌릴 수 없을 수 있으며, 그 가능성은 과학적으로 여전히 불확실하더라도 그렇다는 것이다.³⁹

12. 이익과 속도를 옹호하는 근거

지지자들은 큰 이득을 기대한다. 다리오 아모데이는 2024년 10월 「Machines of Loving Grace」에서 '강력한 AI'를 대부분 관련 분야에서 노벨상 수상자보다 똑똑하고, 인간 속도의 약 10~100배로 수백만 개의 인스턴스로 돌아갈 수 있는 것으로 묘사했다. 이를 그는 데이터센터 속 천재들의 나라라고 요약했다. 그는 AI가 가능하게 할 생물학과 의학이 다음 50~100년의 진보를 5~10년으로 압축할 수 있으며, 이를 압축된 21세기라고 불렀다. 다만 그 효과는 지능에 대한 한계 수익 감소와 물리 세계의 속도 같은 요인에 제한될 것이라고 주장했다.³⁶

샘 올트먼은 2025년 1월 초지능 도구가 우리가 혼자서 할 수 있는 것을 훨씬 넘어 과학적 발견과 혁신을 크게 가속하고, 그 결과 풍요와 번영을 크게 늘릴 수 있다고 썼다. 마크 저커버그는 발명을 초지능의 주된 목적으로 제안했다.^4,25

다른 이들은 이익이 조건부라고 강조한다. 벤지오와 공저자들은 의료, 생활 수준, 환경 보호의 이익이 역량에서 자동으로 나오는 것이 아니라, 고급 AI를 어떻게 관리하고 배분하느냐에 달려 있다고 제시한다. 보스트롬의 2026년 작업 논문은 초지능의 시점 문제를 사람에게 미치는 영향의 관점에서 다룬다. 지금 살아 있는 사람들이 누릴 이익, 곧 잠재적 건강 혜택을 파국적 위험과 견준다. 그는 모델이 높은 파국 확률도 흔히 감수할 가치가 있다고 시사하며, 많은 설정값에서 최적 전략은 AGI 역량으로 빨리 움직인 뒤 완전한 배포 전에 잠시 멈추는 것이라고 주장한다. 그는 또 잘못 시행된 중단은 득보다 해가 더 클 수 있다고 경고한다. 이 결론들은 이익, 할인, 안전 진전에 관한 논문의 가정에 달려 있다.⁴⁰

13. 비판과 회의론

비일관성과 일반 기술론. Arvind Narayanan과 Sayash Kapoor의 2025년 에세이 「AI as Normal Technology」는 '지능'과 '초지능'이라는 미끄러운 개념에 기대는 탓에 고급 AI의 세계를 명확히 추론하기 어려워졌다고 주장한다. 이들은 보통 개념화된 '초지능'이 일관되지 않다고 본다. 또 AI가 일반 기술로 드러난다면, 초지능 통제의 어려움을 전제로 한 과격한 개입이 오히려 상황을 훨씬 나쁘게 만들 것이라고 주장한다. 2026년 에이전트 사건 이후 두 사람은 개발과 평가 중 생기는 안전 위험에 충분히 주의를 기울이지 않았다고 인정했다. 법적 책임과 브랜드 피해가 충분한 억지력이 될 것이라 생각했지만 틀렸다고 썼다. 그러면서도 초지능을 가로막는 많은 병목은 외부 요인이어서 연산 개선으로 극복되지 않는다고 유지했다. 2026년 10월 이들은 초지능 금지가 정의상 모호해 비일관성의 지경에 이른다고 부르면서도, 인간의 감독 없는 재귀적 자기 개선 금지가 더 다루기 쉬워 보인다고 판단했다.

통제 상실에 대한 회의. 얀 르쿤(Yann LeCun)은 Meta를 떠나 세계 모델을 개발하는 AMI Labs를 공동 설립했고, 이 회사는 2026년 10억 3,000만 달러를 조달했다. 그는 초지능 자체를 거부하지 않는다. 2025년 3월에는 초지능을 포함한 미래 AI 시스템에 대해 우리가 그것들의 보스가 될 것이라고 말했다. 그가 거부하는 것은 통제 문제의 긴박성이다. 그는 2024년 5월 Leike가 OpenAI를 떠나며 올린 글을 인용해, 우리보다 훨씬 똑똑한 AI 시스템을 긴급히 통제하는 방법을 알아내기 전에 집고양이보다 똑똑한 시스템의 설계 힌트라도 먼저 필요하다고 썼다. 그리고 이런 긴박감은 현실에 대한 극도로 왜곡된 인식을 드러낸다고 적었다.

과장과 특이점. Gary Marcus는 2026년 기술 경영진들이 특이점이 도래했다고 한 주장을 거부했다. 그는 원하면 이 기술을 얼마든지 끌 수 있다고 쓰고, 해킹 사건에 대해서는 OpenAI의 한 사람이 그것을 시작했으며 그것은 훈련이었다고 말했다. 그는 가까운 위험이 불량 초지능이라기보다 규모가 커진 해킹을 일으키는 풀린 에이전트형 AI라고 주장했다.

지능 폭발의 한계. 프랑수아 숄레는 2017년 에세이 「The implausibility of intelligence explosion」에서 지능은 상황적이며 인간 지능은 주로 뇌가 아니라 문명에 담겨 있다고 주장했다. 그는 우발적 병목, 수확 체감, 주변 맥락에서 나오는 반작용 때문에 재귀적으로 자기 개선하는 시스템이 실제로 지수적 진보를 이룰 수 없다고 썼다. Kevin Kelly는 2017년 에세이 「The Myth of a Superhuman AI」에서 지능은 하나의 차원이 아니므로 '인간보다 똑똑하다'는 개념은 의미가 없다고 주장했다. 초인적 AI가 세계를 장악한다는 기대는 근거가 없는 다섯 가정에 기대므로 종교적 믿음에 더 가깝다고 썼다.

규모 확장에 대한 회의. AAAI 2025 회장 직속 패널의 커뮤니티 설문(응답자 475명)에서 응답자의 76%는 AGI를 얻기 위해 현재 AI 접근법을 확대하는 것이 가능성이 낮다 또는 매우 가능성이 낮다고 답했다.

이데올로기와 마케팅. Timnit Gebru와 Émile P. Torres는 AGI 구축 목표를 떠받치는 규범 틀이 20세기 영미 우생학 전통에 뿌리를 두고 있으며, 'TESCREAL 묶음'이라 부르는 이데올로기들을 통해 전달되었다고 주장한다. 그들은 AGI 같이 정의되지 않은 시스템은 안전성을 적절히 시험할 수 없다고 본다. 2026년 10월 「Guardian」 칼럼에서 Gebru와 Emily M. Bender는 이 소프트웨어를 파는 회사들의 마케팅이 임박한 초지능을 경고하며, 실제 위험에서 그들의 파멸 환상으로 주의를 돌리고 있다고 썼다. 피해는 제품이 실제로 초지능이어서가 아니라 사람들이 그렇다고 믿기 때문에 생긴다고도 썼다. 「The Verge」는 2025년 12월 기술 업계의 일부에게 초지능이라는 개념조차 모호해져 AGI와 뒤섞였다고 보도했다.