AISI, 학습 데이터 주면 코딩 에이전트가 생물 AI 도구 일부 기능 재현 가능하다고 평가

AISI가 2026년 10월 26일 블로그에서 코딩 에이전트가 논문과 원본 학습 데이터를 함께 받으면 생물 AI 도구(BAIT)의 선택된 기능을 다시 만들어 낼 수 있다는 평가 결과를 내놨다. 가장 단순한 도구는 4시간 안에, 20달러 미만의 연산 비용으로 재현됐다고 AISI는 밝혔다. 다만 가장 복잡한 RFdiffusion3는 어떤 에이전트도 재현하지 못했다.

평가 이름은 ReproBAIT로, AISI가 SecureBio와 함께 만들었다. 에이전트에게 도구 설계에 관한 제한된 공개 정보와 학습 데이터를 주고 기존 도구를 재현하게 하는 방식이다. AISI는 코드를 공개하지 않거나 게재 정보를 줄이는 것만으로는 안전한 공개라고 할 수 없다고 결론 내리고, 오남용 관리 수단으로 데이터 거버넌스를 더 탐구해야 한다고 밝혔다.

평가는 이렇게 진행됐다

BAIT는 단백질 구조 예측부터 새 분자 설계까지 생물학 연구에 쓰이는 AI 모델이다. 개발사 중에는 상업적 가치를 지키려고, 또는 같은 능력이 해로운 목적에도 쓰이는 이중 용도 도구의 오남용을 줄이려고 방법론, 구조, 데이터 일부만 공개하는 곳이 있다. AISI는 대규모 언어 모델(LLM) 기반 에이전트의 연구, 코딩, 과학 추론 능력이 좋아지면 BAIT 재현 능력도 오를 것으로 보고 있다. 닫힌 BAIT가 제한된 공개 정보만으로 역설계되면 오남용을 막는 방안이 무력해질 수 있다는 것이 AISI의 우려다.

각 시도는 인터넷이 차단되고 GPU가 한 개뿐인 격리 환경, 즉 샌드박스에서 돌아간다. 에이전트는 원본 BAIT에 대한 제한된 설명과 원본을 만들 때 쓴 학습 데이터를 받아 코드를 짜고 실행해 복제본을 만든다. 제한 시간은 도구의 복잡도에 맞춰 달랐다. 네트워크와 분리된 별도 채점기가 제출된 도구의 성능을 원본과 비교한다.

대상은 컴퓨터 생물학에서 널리 쓰이면서 복잡도가 다른 BAIT 세 가지다. 오픈소스 단백질 설계 도구인 ProteinMPNN과 RFdiffusion3, 그리고 폐쇄형 분자 설계 도구로 AISI가 'CMD 1'이라 지칭한 도구다. CMD는 방법이 공개 논문에 설명돼 있지만 원본 코드는 공개된 적이 없어, 접근 통제(검증된 사용자에게만 도구를 제공하는 방식)의 효과를 가늠하는 사례로 쓰였다.

AISI는 공개 정보가 많을수록 재현이 쉬울 것이라는 가설 아래 두 조건을 비교했다. 에이전트에게 논문 초록만 준 경우와 전체 원고 및 보충 자료를 준 경우다. 오픈소스인 두 도구는 원본 코드까지 주는 기준선 조건도 추가했다.

채점은 에이전트가 학습 중 볼 수 없었던 별도 데이터에서, 원 논문의 대표 성능 지표로 했다. ProteinMPNN은 단백질 구조에서 서열을 만드는 모델이라 설계한 서열이 자연 서열과 얼마나 자주 일치하는지를 쟀다. 결과는 재현 충실도로 표시한다. 에이전트가 만든 도구의 점수가 같은 지표에서 원본 점수의 몇 퍼센트인지를 나타내며, 100%는 동등, 그 이상은 원본보다 높다는 뜻이다. 도구의 여러 기능 중 하나만 따로 재므로 충실도가 높아도 완전한 복제를 뜻하지는 않는다고 AISI는 설명했다.

에이전트는 폐쇄형과 오픈 가중치(모델 가중치 공개) 모델을 아우르는 네 종으로, Claude Opus 5, GPT-5.6 Sol, Kimi K3, Qwen3.8-2.4T다. 설정마다 세 번씩 실행해 가장 좋은 시도를 보고했다.

도구마다 달랐던 결과

CMD는 지표가 이미 포화에 가까워 개선 여지가 작았다. AISI에 따르면 에이전트는 원저자에게 없던 유인으로 단일 지표를 최적화했고, 그 대가로 생성 분자의 새로움이 다소 떨어졌다. ProteinMPNN은 에이전트별로 차이가 있었다.

RFdiffusion3의 설계 가능성은 생성한 단백질 골격에 맞춰 설계한 서열이 같은 구조로 접힐 것으로 예측되는지를 본다. 평가한 기능은 다른 분자 없이 골격만 생성하는 것 하나였는데도 성공한 에이전트가 없었다. 부분적으로 성공한 한 에이전트는 학습 데이터를 생성하기 쉬운 구조로 걸러 과제를 좁혔다. 이후 시도 중에는 Protein Data Bank의 기존 항목과 거의 같은 결과를 내놓아 제외된 것도 있었다. AISI는 GPU 한 개와 주어진 시간으로는 이 도구의 충실한 재현이 어려울 가능성이 크다고 밝혔다.

비용은 복잡도가 낮은 두 도구를 성공적으로 재현할 때 대체로 4달러에서 20달러였다. RFdiffusion3는 성공하지 못했지만 시도당 102달러에서 301달러가 들었다. AISI는 이 도구들의 학습 연산량이 지금까지 공개된 가장 큰 BAIT보다 작아 더 큰 도구를 재현하려면 비용이 크게 늘 것이라고 밝혔다. 시간과 연산을 늘리면 성능이 오를 것으로 기대하며, 이를 탐구하는 일이 향후 연구 방향이 될 수 있다고 했다.

초록만 줄 때보다 전체 논문을 줄 때 성능이 일관되게 좋아지지는 않았다. AISI는 한 요인으로 암기를 꼽았다. 오픈소스 두 도구의 논문과 코드가 에이전트의 사전 학습 데이터에 들어 있었을 가능성이 높아, 방법이 가려져도 기억한 구현 세부를 끌어다 쓸 수 있다는 것이다.

AISI는 에이전트의 기록에서 회상 흔적을 찾고, 에이전트가 짠 코드가 원본과 글자 그대로 일치하는 정도도 쟀다. 가장 오래되고 많이 재현된 ProteinMPNN에서는 암기와 부합하는 증거가 중간 수준으로 나왔고 RFdiffusion3에서는 거의 없었다. 이 진단은 불완전해 방향을 가리키는 신호일 뿐이며 에이전트의 성공 중 암기가 차지하는 몫을 가릴 수는 없다고 AISI는 밝혔다.

AISI가 읽은 의미와 남는 질문

AISI는 이번 결과로 각 BAIT의 선택된 기능이 제한된 시간과 연산으로 재현될 수 있음이 확립됐다고 밝혔다. 원본 BAIT 전체를 재현할 수 있다는 증명은 아니지만 흐름의 방향은 분명하다고도 했다. BAIT 분야는 개방적이고 협력적인 과학 문화 속에서 개발되고, 모델을 공개하지 않아도 방법은 상세히 기술되는 경우가 많다. 학습 데이터가 주어지면 코딩 에이전트가 공개 설명만으로 일부 기능을 복원하므로, 코드를 숨기는 것만으로는 능력에 대한 접근을 통제한다고 보장할 수 없다는 것이다. 초록만 받은 에이전트와 전체 논문을 받은 에이전트 사이에 뚜렷한 성능 차이가 없었으므로 게재 정보를 줄이는 것이 추가 보호가 되는지도 분명치 않다고 했다.

AISI는 그 대안으로 기반이 되는 생물학 데이터에 대한 접근을 통제하는 편이 코드 접근만 통제하는 것보다 유망해 보인다고 밝혔다.