AISI, 공개 생물 AI 데이터 필터링 한계 확인…복구에 80달러 미만

AISI가 2026년 10월 26일 블로그를 통해, 공개 웨이트 생물 AI 모델에서 사전 학습 데이터 필터링이 얼마나 효과적인지 실험한 결과를 발표했다. 연구팀은 단백질 언어 모델 ESM-2 계열을 처음부터 학습하면서 바이러스 단백질 데이터를 제외했다. 그 결과 바이러스 단백질 성능은 뚜렷이 떨어졌고 다른 단백질 성능은 대체로 유지됐다.

다만 빼 두었던 바이러스 데이터로 미세 조정을 이어 가자 떨어진 성능이 완전히 돌아왔다. 3B 매개변수의 가장 큰 모델도 복구에 H100 연산 약 80달러면 충분했다. AISI는 필터링만으로는 견고한 안전장치가 되지 못하며, 과학 모델이나 학습용 생물 데이터에 대한 접근 통제 같은 조치가 함께 필요하다고 밝혔다.¹

공개 웨이트 생물 AI에서 필터링이 주목받는 이유

AISI에 따르면 생물 분야 특화 AI 모델은 대개 공개 웨이트로 배포된다. 생물 데이터 위주로 학습하기 때문에 최신 대규모 언어 모델보다 작고, 그만큼 학습하고 공유하고 수정하기 쉽다. 반대로 가중치와 추론 코드가 공개되면 안전장치가 유지되는지 보장하기 어렵다. 사후 학습으로 넣은 보호 장치는 미세 조정으로 싸게 풀릴 수 있고, 안전 분류기도 떼어낼 수 있다. 다만 얼마나 노력이 드는지는 경우마다 다르고 분명하지 않다고 AISI는 설명했다.

AISI는 지금까지 나온 안전장치 가운데 사전 학습 데이터를 엄격하게 거르는 방식을 가장 유망한 안전장치 중 하나로 꼽았다. 되돌리려면 사후 학습 개입보다 미세 조정 연산이 훨씬 많이 드는 경우가 많기 때문이다. 개발사가 가중치를 공개하는 근거로 이 방식을 내세운 적도 있다고 AISI는 전했다.

LLM 대상의 선행 연구는 필터링이 특정 영역의 성능만 선택적으로 떨어뜨리고 다른 영역은 대체로 유지한다고 시사한다. 단백질 모델은 사정이 다르다. 학습 데이터가 LLM보다 훨씬 단조로워 대상 영역을 가려내기 어렵고, 필터링 후 남은 데이터가 제거한 데이터와 비슷할 수 있다. AISI Chem-Bio 팀은 이 점이 필터링 효과에 영향을 줄 수 있어 직접 확인에 나섰다.¹

실험 설계

단백질 언어 모델은 LLM과 비슷하게 학습하지만, 단어 대신 아미노산 서열을 입력으로 쓴다. 모델은 수백만 개의 단백질 서열을 보며 어떤 아미노산이 어떤 맥락에서 나타나는지 익힌다. 서열은 단백질이 접히는 모양을 정하고 그 모양이 세포 안에서의 기능을 정하므로, 서열로 접힘이나 돌연변이의 영향을 예측할 수 있다.

연구팀은 ESM-2 단백질 모델을 8M에서 3B 매개변수까지 여러 크기로 처음부터 학습했다. 최첨단(frontier) LLM은 이 연구의 가장 큰 모델보다 몇 자릿수 더 크다고 AISI는 밝혔다. 모든 모델은 바이러스를 이루는 단백질 서열을 뺀 데이터셋으로 학습했다. 연구팀은 제외한 바이러스 단백질을 필터링으로 떨어뜨리려는 능력인 '망각(forget)' 영역, 그 밖의 모든 생명체 단백질을 성능이 유지돼야 하는 '보존(retain)' 영역이라 불렀다.

제거 범위는 단계로 나눴다. 가장 좁은 단계는 인플루엔자 한 균주만 빼고, 가장 넓은 단계는 모든 바이러스 단백질과 가까운 상동 단백질까지 뺀다. 각 단계는 다음 단계의 부분집합이다. 좁게 거르면 모델의 일반 능력이 더 보존되지만 되돌리기 쉬울 수 있다. 넓게 거르면 능력을 재구성하는 데 쓰일 수 있는 관련 단백질 데이터까지 빠져 보호 효과가 커지는 대신 다른 영역 성능이 더 떨어질 수 있다고 AISI는 설명했다.

평가는 세 가지 질문으로 진행했다. 필터링이 목표 능력을 떨어뜨리는지, 결과가 변조에 얼마나 버티는지, 모델 크기에 따라 효과가 어떻게 달라지는지다. 성능은 따로 떼어 둔 단백질 데이터로 세 가지 과제에서 쟀다.¹

복구 시험은 필터링한 모델에 제외했던 바이러스 데이터를 이어서 학습시키고, 성능을 되살리는 데 든 연산량을 기록하는 방식이었다.¹

결과: 선택적으로 떨어지지만 오래가지 않는다

바이러스 단백질 데이터를 뺀 모델은 세 단계 모두에서 바이러스 단백질 성능이 크게 떨어졌고, 비바이러스 단백질 성능은 대체로 유지됐다. 과제별로 폭은 달랐다. 마스크드 언어 모델링은 모든 크기에서 영향을 받았다. 접촉 예측은 150M 매개변수를 넘는 모델에서, 돌연변이 효과 예측은 650M을 넘는 모델에서 영향이 나타났다. 크고 성능 좋은 모델일수록 효과가 컸는데, 필터링하지 않은 모델은 커질수록 바이러스 단백질 성능이 오르지만 필터링이 그 상승을 막기 때문이다.

복구 시험에서는 제외했던 바이러스 데이터로 계속 미세 조정하자 바이러스 단백질 성능이 완전히 회복됐다. 모델이 클수록 복구 비용은 늘었지만 절대 금액은 적었다. 3B 모델의 전체 능력 복구에 H100 연산 약 80달러가 들었다. AISI는 필터링이 능력을 영구히 지우지 못하고 되돌리는 비용을 높일 뿐이라고 해석했고, 이런 바이러스 데이터는 학습에 쓰이지 않더라도 공개되는 경우가 흔하다고 덧붙였다.

AISI는 결과의 범위도 밝혔다. 실험이 ESM-2 한 계열에 국한돼 다른 단백질 모델로 얼마나 일반화되는지 불확실하다. 추론 중 추가 데이터를 가져올 수 있는 모델에서는 필터링 효과가 더 약할 수 있다. 복구 비용 측정도 정밀하지 않아, 모델 크기에 따라 변조 저항성이 어떻게 달라지는지는 확신 있게 결론내기 어렵다고 했다.

AISI는 데이터 필터링이 단백질 언어 모델의 특정 능력을 효과적이고 선택적으로 억제한다고 결론지었다. 단독으로는 견고한 안전장치가 아니며, 지속적인 보호에는 과학 모델이나 학습에 필요한 생물 데이터의 접근 통제 개선 같은 추가 조치가 필요할 가능성이 높다고 밝혔다. 연구 전문은 별도 논문으로 공개돼 있다.¹

LLM 필터링 연구와 견주면

Anthropic은 별도 블로그 글에서 LLM의 사전 학습 데이터를 걸러 화학, 생물, 방사능, 핵(CBRN) 관련 위험 지식을 줄이는 실험을 소개했다. 학습을 마친 모델에서 언러닝으로 유해 정보를 사후에 지우기는 어렵다는 문제의식에서 출발해, 분류기로 유해 문서를 가려낸 뒤 걸러낸 데이터로 모델을 처음부터 학습했다.

분류기 여섯 가지를 시험했다. 합성 문서로 잰 F1 점수는 Claude 3.5 Sonnet을 프롬프트로 쓴 헌법형 분류기가 0.96, 작은 모델을 미세 조정한 헌법형 분류기가 0.94였다. 전자는 연산 비용이 너무 커 사전 학습 말뭉치 전체를 훑을 수 없어, 작은 분류기로 전체를 검사했다. 두 분류기를 이어 붙인 2단계 방식은 오히려 CBRN 성능을 소폭 올렸다. Anthropic은 실제 문서가 합성 문서와 분포가 달랐거나, 유해성의 정의가 프롬프트만으로는 명시하기 어려울 만큼 미묘해서일 수 있다고 추정했다.

Anthropic은 필터 임계값을 0.939로 잡은 한 지점의 결과를 제시했다. 중간 크기 모델에서 유해 능력 평가 정확도가 33.7±0.4%에서 30.8±0.4%로 낮아졌다. 무작위 기준 25%를 넘는 부분만 따지면 상대적으로 33% 줄어든 수치다. 같은 임계값에서 MMLU, 코드, 산문 등 무해 능력 평가에서는 의미 있는 하락이 없었다. 수학은 임계값에 따라 오르내려 결과가 불안정했다. 안전성과 성능의 균형은 임계값을 달리해 용도에 맞게 고를 수 있다고 Anthropic은 설명했다.

Anthropic은 앞으로의 과제로 필터링된 모델의 미세 조정 견고성 연구를 꼽았다. 악의적인 사용자가 유해 데이터로 모델을 미세 조정할 때, 줄어든 유해 능력 중 사후 미세 조정이나 맥락 내 프롬프팅(in-context prompting)으로 되살아나는 비율을 실증하자는 것이다. 또 오정렬 위험을 줄이기 위해 보상 해킹이나 기만을 다룬 문서를 거르는 방안도 가능성으로 제시했다.²

두 연구는 대상이 LLM과 단백질 모델로 다르고 지표도 달라 수치를 직접 비교할 수 없다. 그래도 Anthropic이 후속 과제로 남긴 미세 조정 복구 문제를 AISI가 단백질 모델에서 비용으로 측정했다는 점에서 이어진다. 필터링으로 평가 점수가 내려가는 것과, 공개 웨이트에서 그 점수가 계속 낮게 유지되는 것은 별개의 문제라는 점을 AISI의 80달러라는 수치가 보여 준다.^1,2