Claude, 양자 회로 8종 설계해 기존 최고 기록 갱신

Anthropic이 2026년 10월 16일(현지시간) Claude에 양자 회로 설계를 맡긴 연구 결과를 공개했다. 화학, 최적화, 물리 시뮬레이션, 수론 분야의 회로 8종을 평이한 말로 적은 명세서와 설계안을 검사하고 점수를 매기는 자동 평가 프로그램을 함께 주자, Claude가 대체로 스스로 작업해 기존에 발표된 최고 회로보다 나은 설계를 찾았다고 Anthropic은 밝혔다. 일부는 10배 이상 개선됐다.

연구는 Anthropic의 STEM Fellows Program에서 Andi Gu가 이끌었고, Anthropic의 양자 물리학자 Alek Kemeny가 멘토를 맡았다. Harvard University의 Susanne Yelin, Harvard University와 QuEra Computing의 Mikhail Lukin이 공동으로 참여했다. 논문은 arXiv에 올라 있다. 사용한 모델은 Claude Mythos 5이며, 회사는 이런 개선이 유용한 응용에 필요한 양자 자원을 크게 줄여 실용적인 양자 컴퓨터가 예상보다 일찍 나올 수 있다고 설명했다.

회로 설계가 중요한 이유

지금까지 만들어진 양자 컴퓨터의 큐비트는 수백에서 수천 개에 그쳐, 실용적 이점이 기대되는 알고리즘을 여럿 돌리기에는 모자란다. 큐비트는 열, 진동, 우주선 같은 환경 잡음에 민감해서 작은 오류가 쌓이면 틀린 답이 나온다. 그래서 연구자들은 알고리즘을 다시 설계해 큐비트와 계산 시간을 줄이려 한다.

대표적인 사례가 질소고정 효소 nitrogenase의 핵심인 철-황 클러스터 FeMoco 시뮬레이션이다. 2017년에는 바닥 상태 에너지를 계산하는 데 Toffoli 게이트 약 50조 개가 필요하다고 추정했는데, 알고리즘 개선이 이어지며 약 3억 4천만 개로 내려와 약 15만 분의 1로 줄었다. 이는 물리 큐비트 약 300만 개를 갖춘 미래 기계에서 몇 시간 걸리는 계산에 해당한다. 이 감소는 하드웨어 개선보다 회로 재설계에서 주로 나왔다.

Claude가 일한 방식

회로는 코드로 쓸 수 있고, 연구진이 주로 겨냥한 부류의 알고리즘은 입력마다 출력이 하나로 정해져 일반 컴퓨터로 정답 여부를 효율적으로 검사할 수 있다. 점수는 사용 큐비트 수에 게이트 수를 곱한 값으로, 회로 실행 시간의 대용품이다. Claude가 파이썬으로 설계안을 내면 평가 프로그램이 정확성을 확인하고 점수를 돌려주며, Claude가 이를 반영해 다음 안을 고치는 순환이 사람 개입 없이 돌았다. 이렇게 8개 기본 연산 모두에서 기존 최고 공개 설계보다 큐비트와 게이트가 모두 적은 설계가 나왔다.

개선은 기존 설계의 미세 조정이 아니라 문제의 구조와 수학에서 새로운 통찰을 찾아낸 결과라고 Anthropic은 밝혔다. 철-황 분자 시뮬레이션 회로를 만들 때는 분자의 대칭성과 반복 구조 덕분에 한 번 계산한 결과를 재사용할 수 있음을 알아챘다. 극히 드문 입력을 처리하려고 넣어 둔 값비싼 부품을 없애고 회로를 다시 설계한 사례도 있었다.

양자 회로에는 일반 프로그램에 없는 제약이 둘 있다. 회로는 많은 입력을 겹쳐 처리하므로 조건 분기로 한쪽 코드만 실행할 수 없고 양쪽 연산을 매번 모두 넣어야 한다. 또 모든 단계가 되돌릴 수 있어야 해서 중간 계산을 지우지 못하고, 없애려면 만든 과정을 거꾸로 돌려야 하며 이때 게이트가 더 든다. 중간 결과를 바로 되돌리면 큐비트는 아끼지만 다시 계산해야 하고, 오래 보관하면 큐비트가 많이 든다.

타원곡선 점 덧셈 회로

첫 과제는 타원곡선의 점 덧셈이었다. 타원곡선 이산로그 문제를 푸는 양자 알고리즘의 핵심 단계이며 큐비트와 실행 시간 비용 대부분을 차지해 이 분야의 표준 기준 과제로 쓰인다. Claude는 한 문단짜리 지시문을 받았다. 점 덧셈의 수학 규칙, 평가 방식, 여러 접근을 병렬로 탐색하라는 지시가 담겼다. 첫 지시와 가끔 시야를 넓히라는 요청만 있었을 뿐 사람의 개입 없이 53시간 작업한 끝에 완전히 새로운 접근을 내놓았다.

비용 대부분은 모듈러 역원 계산에서 나온다. 일반 컴퓨터에서는 divsteps라는 방법으로 효율적으로 계산하지만, 각 반복에서 어떤 연산을 골랐는지의 기록(분기 정보)을 양자 회로는 지울 수 없어 단순 이식하면 큐비트가 엄청나게 든다. Claude는 이 기록을 저장하지 않고 반복마다 숫자 쌍을 살펴 분기 정보를 직접 복원(디코딩)할 수 있으리라 보았다. 단순한 규칙은 작은 사례에서만 통하고 256비트 전체 크기에서는 실패했다. 그러자 divsteps가 왜 그렇게 동작하는지 수학적으로 따져 새로운 대수 항등식을 여럿 증명했고, 이를 바탕으로 복원 규칙의 정확한 공식을 도출했다. 대규모 수치 시뮬레이션으로 검증한 뒤 Lean으로 형식화해, 분기 기록을 저장하지 않는 첫 가역 divsteps 구현을 만들었다.

디코딩은 큐비트를 아끼는 대신 시간이 든다. Claude는 저장이 디코딩보다 싼 경우를 찾아 저장과 디코딩을 가르는 기준을 바꿔 가며 두 극단 사이의 설계 계열을 만들었다. 이 계열의 한 회로는 기존 최소 설계보다 큐비트를 12% 더 쓰는 대신 게이트는 17분의 1이다. 이전에는 없던 큐비트 수와 실행 시간의 조합이 새로 생긴 것이다. 비교 표는 Schrottenloher(2026)와 Luo 등(2026)의 기존 설계를 근거로 했다.

양자 최적화 알고리즘의 디코더

두 번째 사례는 초다항 속도 향상을 낼 유력 후보로 꼽히는 DQI(decoded quantum interferometry)다. 좋은 해가 읽힐 확률이 높은 양자 상태를 준비하는 알고리즘으로, 이때 오류 정정 디코더를 써서 요약 정보인 신드롬에서 오류 목록을 복원하는 단계가 가장 비싸다. 이 알고리즘을 제안한 연구자들은 격자 위 곡선 맞추기에 해당하는 최적 다항식 교차(OPI) 문제에 Reed–Solomon 디코더를 적용해 보였다.

기존 최고 회로는 확장 유클리드 알고리즘으로 신드롬을 처리했다. 이 알고리즘은 입력에 따라 단계 수와 순서가 달라지는데 양자 회로는 고정된 게이트 순서로 모든 입력을 처리해야 하므로, 어떤 입력이 필요로 하는 것보다 훨씬 많은 반복 라운드로 늘리고 불필요한 때에도 모든 연산을 실행해야 했다. Google Quantum AI 연구진의 추정으로는 특정 OPI 문제를 푸는 데 슈퍼컴퓨터 Frontier로 약 3개월, DQI를 돌리는 미래 양자 컴퓨터로 약 1시간이 걸리며 그 시간 대부분이 Reed–Solomon 디코딩에 쓰인다.

Claude는 확장 유클리드 알고리즘이 양자 회로에 맞지 않는다고 빠르게 판단하고 Berlekamp–Massey 디코딩 중심으로 회로를 짰다. 이 방법은 신드롬을 하나씩 읽으며 앞 숫자로 다음 숫자를 예측하는 가장 단순한 규칙을 찾아가는데, 매 라운드 같은 종류의 단계를 밟고 라운드 수도 항상 같아 고정된 게이트 순서에 맞는다. 다만 가역 구현에서는 매 라운드 잠깐 쓰는 임시 값을 나중에 되돌리려면 복원할 수 있어야 한다. 값을 모두 저장하면 비용이 지나쳐서, Claude는 대부분을 회로의 현재 상태에서 복원하게 했고 복원이 안 되는 예외 값 몇 개만 저장하게 했다.

예외 값이 35개 라운드에서 생기는 최악의 경우까지 대비하면 665큐비트가 필요하다. Claude는 고속 시뮬레이터로 4억 300만 건의 샘플 디코딩을 돌려 예외가 실제로 얼마나 생기는지 쟀고, 거의 모든 실행이 값을 하나 이하로 저장하면 된다는 것을 확인했다. 그래서 값 하나, 즉 19큐비트만 확보했다. 약 1만 번에 한 번은 이보다 많이 필요해 실패하지만 과제가 허용하는 오류율 안이다. 단순한 가역 Berlekamp–Massey는 매 라운드 12큐비트 기록을 저장해 모두 840큐비트가 든다.

방법 교체, 임시 값을 저장하지 않고 복원하는 회로 구조, 필요한 메모리와 계산량의 정밀 측정이라는 세 가지가 합쳐져 디코더 게이트 수가 Google의 기존 구성보다 12배 줄었다. Anthropic은 어느 하나만으로는 부족했고, 이로써 DQI에서 가장 비싼 단계가 약 한 자릿수 이상 싸졌다고 설명했다.

한계와 앞으로의 과제

Anthropic은 FeMoco 추정치를 15만 분의 1로 줄이는 데 여러 연구 그룹이 8년 걸렸고 단계마다 대개 몇 달이 들었지만, 이번 타원곡선 설계는 한 번의 53시간 작업에서 나왔다고 비교했다. FeMoco의 두 추정치는 같은 54오비탈 모델에 대한 것이다.

한계도 있었다. 초기 실험에서 Claude는 보수적이어서 개선안을 거듭 의심하고 이미 충분히 뒷받침된 결과도 두세 번 재검증했다. 이 신중함 덕에 divsteps 설계를 Lean 증명으로 검증하기도 했지만, 새로운 방식보다 익숙한 기존 방식을 택하는 경향으로도 나타났다. 연구진은 질적으로 다른 접근 여러 개를 병렬로 개발하게 하고 가끔 탐색 범위를 넓히라고 요청해 이를 완화했다. 타원곡선 결과도 기존 설계에서 게이트를 깎은 것이 아니라 이전에는 불가능했던 가역 모듈러 역원 방식을 탐색하고 필요한 수학 결과를 도출해 얻었다.

회로 설계는 실용적인 양자 컴퓨터를 만드는 일의 일부일 뿐이다. 큐비트가 약해서 기계가 실행 중 스스로 오류를 잡아야 하며, 이는 오류 정정 코드, 빠른 디코더, 하드웨어 제어 등 서로 영향을 주는 여러 구성 요소에 달려 있다. 보통은 복잡도를 줄이려고 각각 따로 설계한다. 이들 다수가 코드로 쓰고, 정확성을 검사하고, 비용으로 점수를 매길 수 있다는 점에서 회로 설계와 같다. Anthropic은 AI가 알고리즘부터 하드웨어까지 구성 요소를 함께 최적화해 특정 문제에 맞춘 오류 정정 양자 컴퓨터 전체를 설계할 가능성을 거론했다.