레드팀 평가

쉽게 말하면, 레드팀 평가는 AI를 내보내기 전이나 운영하는 동안 공격자처럼 일부러 찔러 보며 약점을 찾는 일이다. 찾는 대상은 보안 구멍, 편향, 위험한 답변처럼 평범한 품질 검사로는 놓치기 쉬운 문제다.

1. 개요

레드팀 평가(red teaming)는 인공지능 시스템의 취약점, 편향, 유해한 출력과 그 밖의 실패 양식을 배포 전에 찾거나, 운영 중 지속적인 모니터링의 일부로 수행하는 체계적이고 적대적인 시험이다. 미국 행정명령 14110은 이 활동을 AI 시스템의 결함과 취약점을 찾는 구조화된 시험 노력으로 정의하며, 흔히 통제된 환경에서 AI 개발자와 협력해 수행된다고 규정했다. 군사 전략과 사이버보안에서 빌려온 이 방식은 공격자의 시각을 가진 전담 팀이나 개인이 AI 모델을 일부러 찔러 보며, 일반 품질 보증과 벤치마크 평가로는 놓칠 수 있는 약점을 찾아내는 것이다.²

대규모 언어 모델(LLM)과 기타 생성형 AI 시스템이 널리 배포되면서, 레드팀 평가는 AI 안전 분야에서 가장 중요한 실무 도구 가운데 하나가 되었다. 정부 행정명령과 국제 규제에서도 언급되며, 모든 주요 AI 연구소의 내부 안전 프로토콜에 포함되어 있다.

2025년 1월까지 Microsoft의 AI 레드팀은 단독으로 100개 이상의 생성형 AI 제품을 레드팀 평가했다. 프롬프트 인젝션(핵심 레드팀 평가 대상)은 LLM 애플리케이션 OWASP Top 10에서 2년 연속 1위를 차지했다.⁴⁵

2. 개념의 기원

레드팀이라는 개념은 1960년대 냉전기 군사 훈련에서 비롯되었다. 싱크탱크 랜드 연구소(RAND Corporation)는 미국 군을 위해 시뮬레이션을 진행했는데, 여기서 '레드팀'은 소련을, '블루팀'은 미국을 맡았다. 색깔 구분은 당시 지정학적 진영을 반영한 것으로, 공산권 적대국은 빨강, NATO 동맹국은 파랑으로 표시했다. 미국 국방장관 로버트 맥나마라(Robert McNamara)도 실험용 항공기 프로그램에 대해 정부 계약업체들이 낸 경쟁 제안서를 평가하려고 레드팀과 블루팀을 꾸렸다.

군사 계획에서 적대적 반론을 체계적으로 두는 발상은 19세기 초까지 거슬러 올라간다. 당시 군대는 장교를 두어 작전 계획에 이의를 제기하고 약점을 찾게 했다. 20세기 중반에 이르러 레드팀은 군사 교리의 정식 구성 요소가 되었으며, 특히 냉전 중 적의 전략을 예측하는 데 쓰였다.

1980년대와 1990년대에 레드팀은 사이버보안 분야로 옮겨 갔다. 미국 국가안보국(NSA)은 기밀 시스템의 보안을 평가하는 데 전담 레드팀을 처음 활용했다. 1990년대와 2000년대에는 민간 기업과 정부 기관이 이 방식을 받아들여, 레드팀이 사이버 공격을 모의해 네트워크 방어를 시험하고 경계를 뚫으며 실제 적이 악용하기 전에 취약점을 드러내도록 했다.³

AI 시스템에 레드팀 평가가 본격 적용된 것은 2020~2021년 무렵이다. LLM의 능력이 빠르게 커지면서 기존 소프트웨어 테스트만으로는 부족하다는 점이 분명해졌다. 전통적인 소프트웨어는 버그가 대개 결정적인 실패로 나타나지만, AI 모델은 예측하기 어렵고 맥락에 따라 달라지는 방식으로 실패할 수 있다. 독성 콘텐츠를 생성하거나, 비공개 학습 데이터를 누출하거나, 위험한 활동을 하는 방법을 알려 주는 것이 그 예다. 레드팀 평가는 이런 새로운 실패 양식을 다루도록 바뀌었고, 2023년 무렵에는 이 용어가 AI 안전 논의의 표준 어휘가 되었다.

3. 작동 방식

AI 레드팀 평가는 기존 소프트웨어 테스트와 여러 면에서 다르다. 일반 소프트웨어 테스트는 명세에 따라 주어진 입력에 올바른 출력이 나오는지 확인한다. 이와 달리 AI 레드팀 평가는 적대적 조건에서 시스템의 행동을 창의적이고 열린 방식으로 탐색하며, 목표는 개발자가 예상하지 못한 실패 양식을 찾는 것이다.

전형적인 AI 레드팀 평가는 여러 단계로 진행된다. 각 단계의 내용은 아래 표와 같다.

레드팀 평가자는 다양한 기법을 쓴다. 수동 탐색은 모델 동작에 대한 이해, 분야 지식, 창의적 직관을 바탕으로 사람 전문가가 적대적 입력을 직접 만드는 방식이다. 자동 공격은 알고리즘이나 다른 AI 모델을 써서 대량의 적대적 입력을 생성한다. 구조화된 평가는 미리 정한 위험 분류 체계에 따라 알려진 유해 행동 범주별로 모델을 체계적으로 시험한다.⁶

조지타운대학교 안보·신흥기술센터(CSET)는 'AI 레드팀'이라는 용어가 기존 사이버보안 레드팀보다 더 넓은 범위의 활동을 포함한다고 지적했다. 사이버보안에서 레드팀은 보통 명확한 능력과 목표를 가진 특정 위협 행위자를 모의한다. 반면 AI 레드팀 평가는 종종 두 가지 목적을 함께 띤다. 하나는 (프롬프트 인젝션처럼) 보안 취약점을 찾는 것이고, 다른 하나는 (편향이나 유해 콘텐츠 생성처럼) 책임 있는 AI 문제를 평가하는 것이다.⁷

4. AI 레드팀의 유형

AI 레드팀 평가는 몇 가지 형태로 이루어지며, 각 형태는 서로 다른 목표와 개발 수명주기의 단계에 맞게 쓰인다.

4.1. 내부와 외부 레드팀

내부 레드팀은 AI 시스템을 개발한 조직의 직원이 수행한다. 내부 팀은 모델의 구조, 학습 데이터, 안전 조치를 깊이 알고 있어 매우 표적화된 공격을 설계할 수 있다. 다만 내부 팀은 개발자와 같은 사각지대를 공유할 수 있다는 단점이 있다.

외부 레드팀은 독립 전문가를 끌어들이며, 종종 특수한 분야 지식을 가진 사람들이 참여한다. 외부 레드팀 평가자는 새로운 시각을 제공하고, 내부 팀이 이미 익숙해져 놓치기 쉬운 문제를 더 잘 찾아낸다. 예를 들어 OpenAI의 레드팀 네트워크는 출시 전에 새 모델을 평가하기 위해 생물보안, 정치학, 교육 등 분야의 전문가를 모집한다. GPT-4o의 경우 OpenAI는 45개 언어를 구사하고 29개국을 대표하는 100명 이상의 외부 레드팀 평가자와 협력했으며, 시험은 2024년 3월 초부터 6월 말까지 진행되었다. Anthropic도 프런티어 레드팀 프로그램에서 외부 생물보안 및 사이버보안 전문가를 마찬가지로 참여시킨다.⁸⁹¹⁰

많은 조직이 두 방식을 함께 쓴다. 내부 팀은 개발 중에 지속적으로 시험하고, 외부 팀은 출시 전 검토 같은 주요 시점에 독립적인 평가를 제공한다.

4.2. 수동 대 자동 레드팀

수동 레드팀은 사람의 창의성과 전문성에 의존한다. 숙련된 레드팀 평가자는 자동화된 시스템이 놓치는 미묘하고 맥락에 따라 달라지는 취약점을 찾아낼 수 있다. 예를 들어 문화적 민감성, 미묘한 형태의 편향, 여러 턴에 걸친 복잡한 조작 전략이 그렇다. DEF CON AI Village의 레드팀 챌린지는 사람의 재치가 가진 가치를 보여 주었다. 참가자들은 역할 프롬프팅을 써서, 모델에게 혐오 발언을 연구하는 교수 같은 페르소나를 맡기는 방식 등으로 취약점을 찾아냈고, 이 기법들은 높은 공격 성공률을 보였다.¹¹

자동 레드팀은 알고리즘, 스크립트, 또는 다른 AI 모델을 써서 대규모로 적대적 입력을 생성한다. 이 방식은 사람이 수십 개를 시험하는 동안 수천 가지 공격 변형을 시험할 수 있다. Anthropic은 한 모델이 공격을 만들고 다른 모델이 방어하며, 반복 루프 안에서 취약점을 점차 찾아내고 방어를 강화하는 접근을 설명했다. 자동화 방식은 특히 회귀 테스트에 유용하다. 모델이 업데이트되어도 이미 찾은 취약점이 여전히 막혀 있는지 확인할 수 있기 때문이다.¹⁰

하이브리드 방식은 사람의 전문성과 자동화된 규모 확장을 결합한다. 흔한 패턴은 사람 전문가가 공격 전략과 분류 체계를 설계하고, 이를 자동화된 테스트 묶음으로 구현하는 것이다. 자동 테스트의 결과는 사람이 검토해 심각도를 판단하고 완화 방안을 마련한다.

4.3. 분야별 레드팀

일부 위험 범주는 효과적으로 평가하려면 전문 지식이 필요하다. 분야별 레드팀 평가는 해당 분야의 전문가를 투입해, AI 시스템이 그들의 전문 영역에서 피해를 일으키는 데 도움을 줄 수 있는지 평가한다.

Anthropic의 프런티어 레드팀(Frontier Red Team)은 약 15명의 연구자로 구성되어 있으며, 생물보안 전문가와 함께 150시간 넘게 모델이 해로운 생물학 정보를 출력할 수 있는지 평가했다. 2025년 4월에는 Anthropic이 미국 에너지부 산하 국가핵안보국(NNSA)과 협력해 모델의 핵 확산 위험을 평가했으며, NNSA 직원들이 기밀 환경에서 Claude 모델을 레드팀 평가했다.¹⁰¹²

5. 테스트 대상 범위

AI 레드팀 평가의 범위는 초기 이후 크게 넓어졌다. 현대의 레드팀 프로그램은 보통 여러 위험 범주에 걸쳐 AI 시스템을 평가한다.

5.1. 유해 콘텐츠 생성

레드팀 평가자는 모델이 폭력적이거나, 성적으로 노골적이거나, 혐오적이거나, 그 밖의 방식으로 해로운 콘텐츠를 생성하도록 유도될 수 있는지 시험한다. 여기에는 적대적 압력 아래에서 콘텐츠 필터와 거부 메커니즘이 얼마나 견고한지 확인하는 작업이 포함된다. 강력한 안전 학습을 받은 모델도 때로는 창의적인 프롬프트 전략을 통해 해로운 콘텐츠를 만들도록 조작될 수 있다.

5.2. 편향과 차별

레드팀 평가자는 AI 시스템이 인종, 성별, 종교, 국적, 성적 지향, 장애, 그 밖의 보호 대상 특성에 근거한 사회적 편향을 반영하거나 증폭하는지 평가한다. 이 시험은 단순한 키워드 탐지를 넘어서서, 추천, 특성 묘사, 인구 집단에 대한 차별적 대우 같은 미묘한 형태의 편향까지 살핀다.

5.3. 탈옥

탈옥 프롬프트(jailbreak)는 AI 모델의 안전 제한을 우회해, 모델이 거부하도록 학습된 출력을 내게 만들도록 설계된 적대적 프롬프트 또는 프롬프트 연쇄다.

탈옥 기법은 점점 정교해지고 있다. 2025년 체계적인 평가에서는 역할극 역학을 악용한 프롬프트 인젝션이 89.6%로 가장 높은 공격 성공률을 기록했다. 이 기법은 흔히 요청의 책임을 모델로부터 밀어내어 필터를 우회했다. 예를 들어 요청을 영화 대본의 대사로 꾸미는 방식이다. 비교하면 논리 함정 공격은 81.4%, 인코딩 기법은 76.2%였다.¹³¹⁴

영국과 미국의 AI 안전 연구소가 공동으로 시험한 결과, 프런티어 모델에 내장된 안전 가드레일이 탈옥 기법으로 일상적으로 우회될 수 있다는 것이 확인되었다. 영국 AI 보안 연구소의 2025년 보고서는 여러 유해 요청 범주에 걸쳐 안전 장치를 무력화하는 보편적 탈옥(universal jailbreak)이 시험한 모든 시스템에서 발견되었다고 밝혔다.¹⁵

흔한 탈옥 범주는 아래 표와 같다.

5.4. 프롬프트 인젝션

프롬프트 인젝션 공격은 AI 시스템이 처리하는 입력에 악의적인 지시를 끼워 넣어, 원래 지시를 덮어쓰거나 의도하지 않은 방식으로 행동하게 만든다. 웹 콘텐츠나 사용자가 업로드한 문서처럼 외부 데이터를 처리하는 시스템에서는 특히 위험하다. OWASP의 2025년 LLM 애플리케이션 Top 10은 프롬프트 인젝션(LLM01:2025)을 2년 연속 1순위 취약점으로 꼽았다.⁵

5.5. 환각

레드팀 평가자는 그럴듯하게 들리지만 사실과 다른 정보를 모델이 얼마나 생성하는지, 흔히 환각이라 부르는 현상을 시험한다. 이는 의학, 법률, 금융 등 부정확한 정보가 실질적 피해로 이어질 수 있는 분야의 응용에서 특히 중요하다. 평가자는 자신 있게 틀린 답을 끌어낼 가능성이 높은 질문을 만든다. 예를 들어 잘 알려지지 않은 주제에 관한 질문, 특정 인용문을 요청하는 질문, 실제 사실과 꾸며 낸 전제를 섞은 질문 등이다.

5.6. 개인정보 유출

대규모 데이터셋으로 학습한 모델은 학습 말뭉치에 있던 개인정보, 기밀 정보, 저작권이 있는 자료를 기억했다가 재현할 수 있다. 레드팀 평가자는 특정 유형의 민감 정보를 끌어내도록 설계한 프롬프트로 이런 유출을 탐색한다. OWASP의 2025년 Top 10은 민감 정보 노출을 6위에서 2위(LLM02:2025)로 끌어올렸으며, 이는 이 위험에 대한 우려가 커지고 있음을 반영한다.⁵

5.7. CBRN 위험

화학·생물·방사능·핵(CBRN) 위험 평가는 프런티어 모델의 레드팀 평가에서 핵심 초점이 되었다. 우려는 고급 AI 모델이 전문 훈련을 받지 않은 개인에게 상세한 기술 지침을 제공해 대량살상무기를 만드는 장벽을 낮출 수 있다는 것이다. 여러 AI 연구소는 이제 출시 전 CBRN 평가를 표준 관행으로 수행하며, 흔히 외부 분야 전문가를 참여시킨다.¹⁰¹⁶

6. 주요 기관과 프로그램

많은 기관이 AI 시스템을 위한 전담 레드팀 프로그램이나 프레임워크를 마련했다.

6.1. NIST AI 위험 관리 프레임워크

미국 국립표준기술연구소(NIST)의 AI 위험 관리 프레임워크(AI RMF)는 조직이 시스템 수명주기 전반에서 AI 위험을 관리하도록 구조화된 접근을 제공한다. 이 프레임워크는 책임 있는 AI 개발의 핵심 요소로 레드팀 평가를 포함한 지속적인 시험과 평가를 강조한다. 2024년 7월 NIST는 행정명령 14110에 따라 AI 보안 시험을 위한 갱신된 지침과 글로벌 참여 계획을 발표했다.

NIST는 또한 사용자가 어떤 유형의 공격이 AI 모델의 성능을 떨어뜨릴지 평가하도록 돕는 보안 테스트베드 Dioptra를 개발했다. Dioptra는 AI 모델 시험, 연구, 평가, 레드팀 평가 활동을 지원한다. 2024년 12월부터 2025년 1월까지 NIST는 AI 위험·영향 평가(ARIA) 0.1 시범 프로그램을 운영했다. 이 프로그램에서 레드팀 평가자 51명과 현장 시험자 19명이 TV Spoilers, Meal Planner, Pathfinder 세 가지 시나리오에 걸쳐 AI 애플리케이션 7종을 평가했고, 총 508회의 시험 세션이 이뤄졌다.¹⁷

6.2. DEF CON AI Village

해커 컨퍼런스 DEF CON의 AI Village는 가장 큰 공개 AI 레드팀 행사 몇 가지를 열었다. 2023년 8월 DEF CON 31에서 처음 열린 생성형 AI 레드팀 챌린지(Generative AI Red Team Challenge)에는 참가자 2,244명이 모여 이틀 반 동안 LLM 8종을 평가했다. 행사에서 대화 17,469건과 메시지 164,208개가 만들어졌으며, 사이버보안, 허위 정보, 편향, 인권에 걸친 21개 과제가 운영되었다. 평가 대상 모델 8종은 OpenAI, Anthropic, Meta, Google, Hugging Face, NVIDIA, Stability AI, Cohere에서 나왔다. 주최 측은 이를 규모가 있는 생성형 AI 시스템을 대상으로 한 최초의 실시간 해킹 행사라고 설명했다.

2024년 8월 DEF CON 32에서는 형식을 바꾼 생성형 레드팀(GRT-2)이 돌아왔다. 참가자들은 LLM의 결함과 취약점을 실제로 평가했으며, 발견한 항목마다 보상금이 걸렸다. CSET 연구원 Colin Shea-Blymyer는 창의적인 공격 전략으로 주요 취약점을 찾아내 챌린지에서 우승했다. 이 행사는 비영리단체 Humane Intelligence와 협력해 운영되었으며, 대규모 대중 참여가 AI 안전 시험에 가치가 있다는 점을 보여 주었다.¹¹

6.3. Anthropic의 레드팀 프로그램

Anthropic은 AI 업계에서 가장 공개적으로 문서화된 레드팀 프로그램 가운데 하나를 운영한다. 회사의 프런티어 레드팀은 CBRN 위험, 사이버보안 능력, 자율 AI 행동에 초점을 맞춘다. Anthropic의 접근은 AI 모델이 반복 루프 안에서 다른 AI 모델을 공격하는 자동 레드팀과, 외부 분야 전문가와의 폭넓은 협력을 함께 포함한다.¹⁰

2025년 Anthropic은 통제 평가를 위한 모듈형 스캐폴드로 레드팀을 강화하는 방법을 다룬 연구를 발표했다. 회사는 'AI 통제(AI control)' 프레임워크를 통해 위험을 연구하는데, 이는 레드팀이 AI 모델이 숨겨진 해로운 목표를 의도적으로 추구할 수 있게 하는 공격 정책을 설계하고, 적대적 환경에서 시스템을 시험하는 방식이다.¹²

별도로 Anthropic의 헌법적 분류기(Constitutional Classifiers) 프로토타입은 HackerOne 프로그램을 통한 전문가 레드팀 평가를 3,000시간 넘게 견뎠다. 이 프로그램에는 405명이 초대되었고 보상금은 최대 15,000달러였으며, 보편적 탈옥은 단 하나도 발견되지 않았다. 분류기는 보호 장치가 없는 모델의 탈옥 성공률을 86%에서 4.4%로 낮추었다.¹⁸

2025년 5월 Anthropic은 Claude Opus 4를 책임 있는 확장 정책(Responsible Scaling Policy)의 'AI 안전 수준 3(ASL-3)'으로 출시했다. 이 정책 아래 배포된 첫 모델이며, CBRN 오용을 겨냥한 실시간 분류기를 포함한다.¹²¹⁸

Anthropic은 레드팀 작업의 상세한 결과를 발표하는 전용 사이트도 운영하며, 여기에는 사이버보안과 핵 안전장치 같은 분야의 AI 능력 평가가 포함된다.¹²

6.4. OpenAI의 레드팀 네트워크

OpenAI는 출시 전 새 모델을 체계적으로 시험하기 위해 외부 전문가와의 협력을 깊게 하려고 레드팀 네트워크를 만들었다. 이 네트워크는 유해 능력을 평가하고 완화 조치를 스트레스 테스트하기 위해 다양한 분야의 전문가를 모집한다.⁸

GPT-4o 평가에서 OpenAI는 외부 레드팀을 네 단계로 진행했다. 처음 세 단계에서는 테스터가 내부 도구를 썼고, 마지막 단계에서는 소비자가 실제로 쓰는 전체 경험을 시험했다. 레드팀 평가자들은 탐색적인 능력 발견, 새로운 잠재 위험 평가, 완화 조치의 스트레스 테스트를 수행했으며, 오디오 입력과 생성을 포함한 멀티모달 능력에 특히 주의를 기울였다. 시험에서 모델이 의도치 않게 사용자의 목소리를 흉내 낸 출력을 만드는 사례가 발견되었고, 이는 어시스턴트 음성을 미리 정한 기준 음성으로 유지하도록 하는 견고한 탐지 완화 조치를 개발하는 데 쓰였다.⁸⁹

2025년 3월 OpenAI는 외부 레드팀 평가 접근법을 다룬 상세한 논문을 발표해, 방법론, 교훈, 발전하는 모범 사례를 정리했다. 회사의 프런티어 모델 시험 절차에는 이제 엄격한 내부 안전 시험, 네트워크를 통한 외부 레드팀 평가, 제3자 시험 기관 및 정부 AI 안전 연구소와의 협력이 포함된다.⁸

6.5. Microsoft의 AI 레드팀

2018년 Microsoft는 업계 최초의 전담 AI 레드팀으로 여겨지는 조직을 세웠다. 보안, 적대적 머신러닝, 책임 있는 AI 분야 전문가가 참여한 학제 간 그룹이었으며, Ram Shankar Siva Kumar 아래에서 설립되었다. 팀의 임무는 전통적인 보안 시험을 넘어 유해 콘텐츠 생성, 편향, 그 밖의 책임 있는 AI 실패를 탐색하는 것까지 포함한다.

설립 이후 Microsoft의 AI 레드팀은 100개 이상의 생성형 AI 애플리케이션을 시험했다. 여기에는 Azure OpenAI에서 제공되는 모든 주력 모델, 모든 주력 Copilot 제품, Phi 모델 시리즈의 모든 출시본이 포함된다. 이 팀은 Microsoft Research의 공정성 센터(Fairness Center)와 Microsoft의 전사 이니셔티브인 AETHER(공학·연구에서의 AI 윤리와 영향)의 자원도 활용한다.⁴

2025년 1월 논문 「Lessons From Red Teaming 100 Generative AI Products」에서 팀은 여덟 가지 교훈을 정리했다. 결론은 AI 시스템을 보호하는 작업이 결코 끝나지 않는다는 것이다.⁴¹⁹

Microsoft 레드팀 작업의 주요 이정표는 아래 표와 같다.

7. 자동 레드팀 도구

AI 레드팀 평가가 성장하면서, AI 시스템의 취약점 발견을 자동화하도록 설계된 오픈소스와 상용 도구의 생태계가 생겨났다.

7.1. Garak

Garak은 NVIDIA가 개발한 오픈소스 LLM 취약점 스캐너로, 생성형 AI 모델의 다양한 약점을 시험한다. 이름은 스타트렉 등장인물에서 따왔으며, 'Generative AI Red-teaming and Assessment Kit'이라는 약어 풀이도 붙어 있다. 모듈형 플러그인 구조로 프롬프트 인젝션, 데이터 누출, 독성, 환각 등 여러 실패 양식을 시험한다. 여러 모델 백엔드를 지원하며, 사용자 정의 프로브와 탐지기로 확장할 수 있다.²⁰

7.2. PyRIT

PyRIT(Python Risk Identification Tool)은 Microsoft가 개발한 오픈소스 프레임워크로, AI 시스템을 상대로 한 다중 턴 공격을 조율한다. 단일 패스 스캐너가 재현하기 어려운 정교한 다중 턴 공격 전략에 강점이 있다. 복잡한 적대적 시험 시나리오를 자동화하려는 조직에서 사실상의 표준이 되었으며, 점진 상승 공격(Crescendo)과 가지치기 공격 트리(Tree of Attacks with Pruning, TAP) 같은 기법을 지원한다.²⁰²¹

7.3. PAIR

프롬프트 자동 반복 정제(PAIR, Prompt Automatic Iterative Refinement)는 카네기멜런대학교 등 여러 기관의 연구자가 개발한 탈옥 프롬프트 자동화 기법이다. 공격용 LLM이 대상 LLM을 상대로 적대적 프롬프트를 반복해 다듬으며, 사람이 만든 템플릿 없이 탈옥을 자동으로 만든다. 공격 모델은 대상에 질의하고 응답을 평가한 뒤 여러 차례 접근 방식을 다듬어, 안전 조치를 우회하는 데 성공할 때까지 반복한다.²⁰

7.4. TAP

TAP(Tree of Attacks with Pruning)은 PAIR의 반복 방식을 확장해, 가능한 공격 전략의 공간을 트리 구조로 탐색한다. 매 단계마다 여러 후보 공격 프롬프트를 만들고 효과를 평가해, 가망 없는 가지는 잘라 내고 성공 가능성이 높은 접근은 확장한다. 이런 트리 탐색은 선형 반복 방식에 비해 공격 공간을 더 효율적으로 탐색하게 한다.²⁰

7.5. CyberSecEval

CyberSecEval은 Meta가 Purple Llama 프로젝트의 일부로 개발한 벤치마크 묶음으로, LLM의 사이버보안 취약점을 평가하도록 설계되었다. 업계 최초의 포괄적인 LLM 사이버보안 안전 평가 묶음이라고 소개되었으며, 2025년 기준 3판에 이르렀다. 벤치마크는 CWE(공통 약점 열거)와 MITRE ATT&CK 같은 표준에 기반하며, 안전하지 않은 코드 제안 빈도, 악성 코드 생성의 용이성, 다국어 프롬프트 인젝션에 대한 대응력을 평가한다.²²

7.6. Promptfoo

Promptfoo는 LLM 애플리케이션을 테스트하고 평가하는 오픈소스 도구다. 순수한 레드팀 평가보다 범위가 넓지만, 적대적 시험 기능을 포함하며 다른 레드팀 데이터셋과 방법론, 그중 CyberSecEval과도 연동된다. 흔한 취약점 범주를 자동으로 스캔할 수 있고, 지속적 통합(CI) 파이프라인에 넣을 수 있다.²⁰

7.7. 도구 비교

권장되는 자동 레드팀 접근은 세 계층으로 나뉜다. 1계층은 Garak이나 Promptfoo 같은 광범위한 스캐너로 초기 취약점을 찾는다. 2계층은 특정 표준에 맞춘 규정 준수 스캔을 적용한다. 3계층은 PyRIT 같은 정교한 공격 도구로 복잡한 다중 턴 공격 캠페인을 수행한다.²⁰

8. 규제 요건

8.1. 바이든 행정명령 14110

2023년 10월 30일 조 바이든(Joe Biden) 미국 대통령은 행정명령 14110 「안전하고 보안이 확보되며 신뢰할 수 있는 인공지능의 개발과 이용에 관한 행정명령」에 서명했다. 이 명령은 이중 용도(dual-use) 파운데이션 모델을 개발하는 기업에 레드팀 시험을 실시하고 결과를 정부에 보고하도록 요구하면서, AI 레드팀 평가를 연방 AI 거버넌스의 중심에 두었다.

명령은 AI 레드팀 평가를 통제된 환경에서 AI 개발자와 협력해 AI 시스템의 결함과 취약점을 찾는 구조화된 시험 노력으로 정의했다. 또한 레드팀이 유해하거나 차별적인 출력, 예상치 못한 시스템 행동, 한계, 잠재적 오용 위험 같은 결함을 찾기 위해 적대적 방법을 쓰도록 규정했다.

• 90일 이내에 상무장관은 이중 용도 파운데이션 모델을 개발하거나 개발하려는 기업에 대한 보고 요건을 수립해야 했다.
• 기업은 NIST 지침에 따른 레드팀 시험 결과와 그에 대응해 취한 안전 조치에 대한 설명을 보고해야 했다.
• NIST는 CBRN 무기, 사이버 작전, 아동 성적 학대물 생성과 관련된 오용 위험 시험을 포함한 AI 레드팀 지침을 개발하도록 지시받았다.
• 명령은 안전하고 신뢰할 수 있는 AI 개발을 지원하는 시험 환경(테스트베드)의 개발을 의무화했다.²

그러나 2025년 1월 20일 도널드 트럼프 대통령은 취임 몇 시간 만에 행정명령 14110을 폐지했다. 사흘 뒤 트럼프는 행정명령 14179 「미국의 인공지능 리더십을 위한 장벽 제거(Removing Barriers to American Leadership in Artificial Intelligence)」에 서명했으며, 이 명령은 감독과 의무적 시험에서 규제 완화와 혁신 촉진으로 무게중심을 옮겼다. 폐지로 바이든 명령 아래 마련되었던 의무적 레드팀 평가와 보고 요건은 사실상 중단되었다.²³

8.2. EU AI법

2024년 8월 1일 발효된 EU AI법은 범용 AI(GPAI) 모델에 대해 적대적 시험을 명시적으로 요구한다. 시스템 위험이 있는 것으로 지정된 GPAI 모델(학습에 10^25회를 넘는 부동소수점 연산을 쓴 모델)에 대해 제55조는 제공자가 다음을 하도록 요구한다.

• 시스템 위험을 식별하고 완화하기 위해 레드팀 평가를 포함한 적대적 시험을 수행하고 문서화한다.
• 기술 문서(부속서 XI)의 일부로 내부 및 외부 적대적 시험 수행 조치를 상세히 문서화한다.
• 최초 배포 전만이 아니라 제품 수명주기 전반에서 모델 평가를 수행한다.
• 중대한 사고를 추적·보고하고 사이버보안 보호를 보장한다.

유럽연합 집행위원회는 2025년 GPAI 행동 강령(Code of Practice)을 내놓아, 기반 모델을 개발하거나 배포하는 기업에 자발적 기준을 제시했다. AI법 규정의 전면 집행은 집행위원회가 시스템 위험 모델을 공식 지정한 뒤 2026년 전반에 걸쳐 단계적으로 시작될 것으로 예상된다. 미준수 시에는 최대 3,500만 유로 또는 전 세계 연간 매출의 7%(둘 중 높은 금액)의 과징금이 부과될 수 있다.²⁴

9. AI 안전 평가와의 관계

레드팀 평가는 AI 안전 평가 생태계의 한 요소다. 레드팀 평가가 시스템을 실패하게 만들려고 능동적으로 공격하는 적대적 시험에 초점을 둔다면, 안전 평가는 능력 평가, 정렬 시험, 위험한 능력 평가도 포함한다.

9.1. METR(모델 평가와 위협 연구)

METR(Model Evaluation and Threat Research)은 캘리포니아 버클리에 본부를 둔 비영리 연구소로, 최전선 AI 모델이 장기간에 걸친 에이전트형 과제를 수행하는 능력을 평가한다. 폴 크리스티아노가 2021년 설립한 정렬 연구 센터(Alignment Research Center) 안에서 ARC Evals로 출발했으며, 2023년 12월 독립 비영리 조직으로 분리되면서 측정 과학(metrology)에서 따온 METR로 이름이 바뀌었다.

METR은 Anthropic, OpenAI 같은 AI 개발사와 협력해 출시 전 평가를 수행한다. OpenAI의 o3, o4-mini, GPT-4o, GPT-4.5 시스템 카드 작성에 기여했으며, Anthropic의 Claude 모델에도 기여했다. METR의 연구는 AI 에이전트가 점점 길고 복잡한 과제를 얼마나 수행하는지 측정하는 데 초점을 둔다. 2025년 3월 연구에서 METR은 인간 전문가가 완료하는 데 걸리는 시간으로 측정한 과제 길이 중, 최전선 모델 에이전트가 50%의 신뢰도로 자율 완료할 수 있는 길이가 약 6년 동안 대략 7개월마다 두 배로 늘어났다고 밝혔다.

2025년 말 기준으로 외부 평가 협력을 언급한 프런티어 AI 안전 정책을 공개한 회사는 12곳이다. 이들은 Anthropic, OpenAI, Google DeepMind, Magic, Naver, Meta, G42, Cohere, Microsoft, Amazon, xAI, NVIDIA다.²⁵

9.2. 영국·미국 AI 안전 연구소

영국 AI 보안 연구소(UK AI Security Institute, 구 AI 안전 연구소)는 2023년 11월 블레츨리 파크 AI 안전 정상회의 이후 약 1억 파운드(GBP)의 예산으로 설립되었으며, 세계에서 가장 큰 안전성 평가 팀 중 하나를 꾸렸다. 출시 전 최전선 모델을 평가하고 미국 측 기관과 공동 평가를 수행했다. 연구소의 2025년 「프런티어 AI 동향 보고서」는 약 2년 동안 30개 넘는 최첨단 모델을 평가한 자료를 바탕으로 작성되었다. 보고서는 사이버보안과 과학 분야의 모델 능력이 극적으로 향상된 반면, 안전 가드레일은 여전히 일상적으로 우회될 수 있다고 밝혔다.

미국 AI 안전 연구소는 행정명령 14110에 따라 NIST 안에 만들어졌으며, 영국 연구소와 함께 최전선 모델의 공동 평가를 진행했다. 2025년 1월 행정부가 교체된 뒤 이 연구소는 개편되어 AI 표준·혁신 센터(Center for AI Standards and Innovation, CAISI)로 이름이 바뀌었다.¹⁵

10. 한계와 과제

AI 레드팀 평가는 중요하지만 몇 가지 중대한 과제에 직면해 있다.

표준화가 부족하다. 조직마다 같은 유형의 모델을 시험할 때 기법, 분류 체계, 성공 기준이 달라, 서로 다른 AI 시스템의 안전성을 비교하거나 업계 전체의 발견 사항을 모으기 어렵다. 조지타운대학교 CSET은 '레드팀'이라는 말이 즉흥적인 프롬프트 시험부터 엄격한 구조화 평가까지 너무 넓게 쓰인다고 지적했다.⁷

군비 경쟁 같은 역학이 있다. 레드팀 평가는 안전 조치와 적대적 관계에 있다. 안전 학습이 나아지면 레드팀 평가자는 더 정교한 공격을 개발하고, 공격이 알려지면 개발자는 이를 막는다. 따라서 한 차례 레드팀 평가에서 문제가 없었다는 결과는 미래의 안전성에 대해 제한적인 보증만 준다. VentureBeat는 2025년 이 패턴이 AI 보안 군비 경쟁의 가혹한 현실을 드러낸다고 보도했으며, 어떤 양의 시험도 모델이 가능한 모든 공격에 안전하다고 보장할 수 없다고 짚었다.¹³

확장성 문제가 있다. 수동 레드팀 평가는 노동 집약적이어서 현대 AI 시스템의 방대한 입력 공간을 다 다룰 수 없다. 자동화 도구는 범위를 넓히지만, 사람의 이해가 필요한 미묘하고 맥락 의존적인 취약점을 놓칠 수 있다. 사람의 전문성과 자동화된 규모 사이의 적절한 균형은 아직 풀리지 않은 문제다.

평가자를 평가하기가 어렵다. 레드팀 평가의 품질과 완전성을 판단하는 일 자체가 어렵고, 레드팀 성과에 대해 보편적으로 받아들여지는 벤치마크도 없다. 취약점을 하나도 찾지 못한 레드팀은 정말로 안전한 시스템을 시험한 것일 수도 있고, 충분히 창의적이거나 끈질기지 못했을 수도 있다.

이중 용도 우려가 있다. 성공한 공격을 상세히 공개하면 방어자가 시스템을 개선하는 데 도움이 되지만, 악의적 행위자에게는 로드맵이 되기도 한다. 레드팀 커뮤니티는 분야 발전에 기여하는 투명성과 악용 위험 사이에서 균형을 잡아야 한다.

접근과 자원의 문제가 있다. 최전선 모델을 효과적으로 레드팀 평가하려면 대개 공개 배포 전에 모델에 접근해야 하며, 이는 외부 시험자와 접근을 공유하려는 AI 개발사의 의지에 의존한다. 또한 상당한 연산 자원과 분야 전문성이 필요해 모든 조직이 감당할 수 있는 것은 아니다.

11. 모범 사례

NIST, 주요 AI 연구소, 더 넓은 연구 공동체의 지침을 바탕으로 AI 레드팀 평가의 몇 가지 모범 사례가 자리 잡았다. 주요 내용은 아래 표와 같다.

Microsoft의 AI 레드팀은 100개 이상의 생성형 AI 제품을 시험하며 얻은 세 가지 핵심 교훈을 강조했다. 보안 위험과 책임 있는 AI 위험은 따로 떼지 않고 함께 시험해야 한다. 레드팀 평가는 모델만이 아니라 전체 시스템을 대상으로 해야 한다. 가장 큰 영향을 미치는 취약점은 모델 단독보다 모델과 배포 맥락 사이의 상호작용에서 생기는 경우가 많다.⁴

12. 2025~2026년 AI 레드팀 평가 현황

2026년 초 기준으로 AI 레드팀 평가는 임시방편적 관행에서 책임 있는 AI 개발의 기대되는 요소로, 일부 관할권에서는 법적 요건으로 옮겨 가고 있다.

규제 압력이 커지고 있다. EU AI법이 요구하는 시스템 위험 범용 AI 모델의 적대적 시험 요건은 2025년 8월 시행되었고, 2026년에 전면 집행이 다가오고 있다. 미국 연방정부는 행정명령 14110 폐지 이후 의무적 레드팀 요건에서 물러났지만, 개별 주는 자체 AI 안전법을 제정하고 있다. 한편 Anthropic의 책임 있는 확장 정책과 OpenAI의 준비 프레임워크(Preparedness Framework) 같은 자율 규제 틀은 레드팀 평가를 핵심 관행으로 계속 포함하고 있다.²³²⁴

도구가 성숙해지고 있다. 자동 레드팀 도구 생태계는 크게 성장했으며, PyRIT, Garak, Promptfoo 등 오픈소스 도구가 지속적 개발 파이프라인에 점점 더 통합되고 있다. Microsoft는 2025년 AI Red Teaming 에이전트를 출시했다. 넓은 스캔, 규정 준수 시험, 깊은 공격 시험으로 이루어진 계층형 자동 시험 접근은 인정받는 방법론이 되었다.²⁰²¹

공개 참여가 확대되고 있다. DEF CON AI Village의 생성형 레드팀 챌린지 같은 행사는 크라우드소싱 방식의 적대적 시험이 가치 있다는 점을 보여 주었다. Humane Intelligence가 발간한 2024년 생성형 AI 레드팀 투명성 보고서는 대규모 공개 레드팀 행사의 발견 사항을 정리하고 향후 행사에 대한 권고를 담았다.¹¹

CBRN과 국가 안보 시험이 강화되고 있다. AI 연구소와 정부 기관 사이의 CBRN 평가 협력이 깊어졌다. Anthropic과 미국 국가핵안보국(NNSA)의 파트너십, 업계 전반의 CBRN 평가 확대, 2025년 발표된 FORTRESS(Frontier Risk Evaluation for National Security and Public Safety) 프레임워크는 AI 레드팀 평가의 국가 안보 측면이 커지고 있음을 보여 준다.¹²

OWASP LLM Top 10은 계속 진화하고 있다. 2025년판은 생성형 AI에 특화된 새 취약점 범주를 도입했는데, 과도한 에이전시(excessive agency), 시스템 프롬프트 유출, 벡터·임베딩 취약점, 허위 정보, 무제한 소비가 포함된다. 프롬프트 인젝션은 2년째 1위를 유지했고, 민감 정보 노출은 2위로 크게 올랐다.⁵

모델 능력이 방어를 앞지르고 있다. 영국 AI 보안 연구소의 2025년 보고서는 프런티어 모델이 견습생 수준의 사이버보안 과제를 50%의 확률로 완료할 수 있었다고 밝혔다. 2024년 초에는 약 10% 수준이었다. 화학과 생물학에서 AI 모델은 일부 평가에서 박사급 전문가 기준치를 최대 60% 웃돌았고, 실험실 문제 해결 성능은 일부에서 인간 전문가를 최대 90% 넘어섰다. 그럼에도 가드레일은 여전히 일상적으로 우회될 수 있었으며, 시험한 모든 시스템에서 보편적 탈옥이 발견되었다. 이 격차는 레드팀 평가의 지속적인 중요성을 보여 주며, 실무자들도 레드팀 평가 자체로는 안전을 보장할 수 없다는 점을 인정한다.¹⁵