휴먼 인 더 루프

쉽게 말하면, 휴먼 인 더 루프는 기계가 사람의 개입 없이 혼자 학습하거나 결정하지 않도록 중간에 사람을 넣는 방식이다. 학습에서는 사람이 정답을 달거나 결과에 순위를 매기고, 안전 분야에서는 기계가 중요한 행동을 하기 전에 사람이 승인하도록 한다.

1. 개요

휴먼 인 더 루프(HITL)는 자동화 시스템의 작동 주기에서 사람이 방관자가 아니라 필수 참여자로 포함된 구조를 가리킨다. 이 용어는 서로 거의 인용하지 않는 두 분야에서 쓰인다. 머신러닝에서는 사람에게서 학습 신호를 얻는 방식을 뜻한다. 사람이 데이터에 라벨을 붙이고, 모델이 스스로 고른 질문에 답하며, 후보 출력에 순위를 매기는 일이다. 안전 정책과 규제에서는 배포된 시스템이 혼자 할 수 있는 행동을 제한하는 장치를 뜻한다. 보통 행동이 실행되기 전에 사람의 결정을 요구하는 방식이다.^2,3,4,5

두 쓰임은 방향이 반대다. 학습 방법에서 사람은 줄여야 할 비용이다. 능동 학습과 선호 학습의 목표는 사람의 노동 한 시간당 모델 성능 향상을 최대한 얻는 것이다. 안전장치에서 사람은 지켜야 할 자원이다. 서두르거나 정보가 부족하거나 교대마다 수백 건의 승인을 맡은 감독자는 사실상 감독하지 않는 것이나 다름없다. 감독 책임이 제대로 수행할 수 없는 사람들에게 일상적으로 배정되고 있다는 실증 연구가 늘고 있다.^6,8,9,10,11

사람이 얼마나 통제권을 갖는지 등급을 매길 때 가장 많이 쓰는 용어는 자율 무기 정책에서 왔다. 2012년 Human Rights Watch 보고서는 기계의 결정에 대한 사람의 위치를 세 가지로 나눴다. 휴먼 인 더 루프, 휴먼 온 더 루프, 휴먼 아웃 오브 더 루프다. 지금은 사람이 행동을 승인해야 하는지, 사후에 취소할 수 있는지, 아예 빠져 있는지를 묻는 모든 시스템에 이 구분이 쓰인다.⁴

2. 사람이 개입하는 위치

미국 국방부 지침 3000.09는 2012년 11월 원본을 대신해 2023년 1월 25일 다시 발행되었다. 지침 본문은 루프 용어를 쓰지 않고, 첫째와 셋째 위치에 대응하는 정의를 담았다. 준자율 무기 체계는 작동된 뒤에도 운영자가 고른 개별 표적이나 특정 표적 집단만 교전하도록 설계된 체계다. 자율 무기 체계는 작동된 뒤 운영자의 추가 개입 없이 표적을 고르고 교전할 수 있는 체계다. 지침의 핵심 요건은 두 부류 모두 지휘관과 운영자가 무력 사용에 적절한 수준의 인간 판단을 행사할 수 있게 설계되어야 한다는 것이다. 이 문구는 수동 통제를 명시하지 않으려고 일부러 택한 표현이다.^12,15

루프 라벨은 사람이 어디에 있는지만 말할 뿐, 그 사람이 얼마나 이해하고 있는지나 실제로 무엇을 할 수 있는지는 말하지 않는다. 이 간격을 메우려는 주요 시도가 ‘의미 있는 인간 통제’ 개념이다. 군축 단체 Article 36의 Richard Moyes와, 당시 애리조나주립대학교 글로벌 보안 이니셔티브의 연구 과학자이자 옥스퍼드대학교 선임 연구원이던 Heather Roff가 발전시켰다. 2016년 유엔 특정재래식무기협약(CCW) 회의 대표단에 낸 브리핑은 네 가지 핵심 요소를 제시했다. 예측 가능하고 신뢰할 수 있으며 투명한 기술, 사용자에게 주어지는 정확한 정보(의도된 결과, 기술의 작동 방식, 사용 맥락), 사람이 제때 행동하고 개입할 가능성, 일정한 기준에 따른 책임성이다. 같은 네 요소는 대출 결정이나 콘텐츠 삭제를 검토하는 기준으로도 그대로 읽힌다.¹⁶

3. 학습 과정의 사람

3.1. 데이터 라벨링과 주석

지도 머신러닝은 라벨이 붙은 예시를 학습 재료로 쓰며, 이 분야 역사의 대부분에서 그 라벨은 사람이 만들었다. 이미지 분류에서 2012년 딥러닝 돌파구를 낳은 데이터셋 ImageNet은 아마존 메케니컬 터크 작업자에게 후보 이미지를 보여 주고, 각 이미지가 주어진 범주에 속하는지 확인하게 해 만들어졌다.

ImageNet 대규모 시각 인식 대회 5년을 되돌아본 주최 측 회고는 이 구조가 얼마나 취약한지 솔직하게 적었다. 핵심 교훈은 ‘모든 인간 지능 과제는 매우 잘 설계되어야 한다’는 것이었다. 질문에 모호한 부분이 있으면 작업자가 그것을 찾아내 정확도가 떨어졌기 때문이다. 주최 측은 1,000개 객체 클래스와 100만 장이 넘는 이미지라는 규모 때문에 모든 객체의 위치에 주석을 다는 것이 불가능했다고도 적었다.¹⁷

이 구조에서 자라난 데이터 라벨링 산업은 이제 전략 자산이 될 만큼 커졌다. Scale AI는 2025년 6월 메타가 약 143억 달러를 투자해 지분 49%를 확보했다고 확인했고, 이때 기업가치는 290억 달러로 평가되었다. 공동 창업자이자 최고경영자인 Alexandr Wang이 메타의 AI 사업에 참여하기 위해 떠난다고 밝혔고, 최고전략책임자 Jason Droege가 임시 최고경영자를 맡는다.¹⁸

Mercor는 분야 전문가를 학습·평가 데이터를 만드는 AI 연구소와 이어 주는 회사다. 2025년 10월 기업가치 100억 달러에 3억 5,000만 달러 규모의 시리즈 C 투자를 유치했다. 이는 2025년 2월 기업가치 20억 달러의 다섯 배다.¹⁹

이 수치 뒤의 노동 조건은 논쟁거리가 되어 왔다. 2023년 1월 TIME은 조사 보도에서 OpenAI가 아웃소싱 업체 Sama를 통해 케냐 노동자에게 폭력, 성적 학대, 혐오 발언이 담긴 텍스트에 라벨을 붙이게 했다고 전했다. 목적은 ChatGPT에 쓸 안전 필터를 학습시키는 것이었다. 노동자들은 세금 공제 후 시간당 약 1.32~2달러를 받았고, OpenAI는 Sama에 시간당 12.50달러를 지급했다. Sama는 2022년 2월 계약을 8개월 앞당겨 끝냈다.²⁰

3.2. 능동 학습

능동 학습은 사람이 무엇에 라벨을 붙일지를 모델이 고르는 HITL 머신러닝의 한 갈래다. Burr Settles의 서베이는 University of Wisconsin-Madison 컴퓨터과학 기술보고서 1648호로 발표되었고, 전제를 직접 밝힌다. 기계 학습 알고리즘은 학습할 데이터를 스스로 고를 수 있으면 학습 라벨이 더 적어도 더 높은 정확도를 얻을 수 있다는 것이다. 서베이는 라벨이 없는 사례를 질의 형태로 내놓아 오라클(보통 사람인 주석자)이 라벨을 붙이게 하는 구조를 다룬다.

서베이는 질의가 만들어지는 시나리오(멤버십 질의 합성, 스트림 기반 선택적 샘플링, 풀 기반 샘플링)와 질의를 고르는 전략(불확실성 샘플링, 위원회 질의, 기대 모델 변화, 기대 오류 감소, 분산 감소, 밀도 가중 방법)으로 분야를 나눈다. 동기는 경제적이다. 라벨이 없는 데이터는 흔하지만 라벨은 느리고 비싸다.⁸

3.3. 대화형 머신러닝과 머신 티칭

다른 흐름은 사람을 오라클보다는 협업자로 본다. Jerry Alan Fails와 Dan R. Olsen Jr.는 2003년 지능형 사용자 인터페이스 학회(Intelligent User Interfaces)에서, 사용자가 분류기를 학습시키고 분류 결과를 보고 고치며 과정을 반복하는 대화형 머신러닝 모델을 제안했다. 이들은 그림 그리기 은유를 쓰는 카메라 기반 인터페이스 제작 도구 ‘Image Processing with Crayons’로 이를 시연했다.²¹

Mosqueira-Rey 등이 「Artificial Intelligence Review」에 낸 서베이는 과정을 누가 이끄는지로 세 패러다임을 구분한다. 능동 학습은 시스템이 무엇을 물을지 통제하고, 대화형 머신러닝은 사용자와 시스템의 상호작용이 더 긴밀하며, 머신 티칭은 도메인 전문가가 과정을 이끈다. 2022년 Wu 등의 서베이는 같은 영역을 비용 관점에서 설명하며, HITL을 인간의 지식과 경험을 파이프라인에 넣어 최소 비용으로 정확한 모델을 학습시키는 것으로 정의했다.^2,3

4. 인간 선호 학습

현재 대규모 언어 모델 실무에서 가장 영향력이 큰 HITL 기법은 인간 피드백 강화 학습(RLHF)이다. 사람이 후보 출력을 비교하고 그 비교로 보상 모델을 맞추는 방식의 강화 학습이다. 주요 연구는 다음과 같다.

4.1. 주요 연구

직접 선호 최적화는 기계 장치를 단순하게 만들었지만 사람에 대한 의존은 줄이지 못했다. 여전히 사람이 순위를 매긴 출력 쌍이 필요하기 때문이다.²⁴

사람의 몫을 줄이려는 더 직접적인 시도는 2022년 12월 Anthropic이 발표한 헌법적 AI다. 이 방법은 유해한 출력을 표시한 사람의 라벨 없이 무해한 어시스턴트를 학습시킨다. 사람의 감독은 규칙이나 원칙을 적은 문서뿐이고, 선호 모델은 AI가 만든 비교로 학습된다. 저자들은 이를 AI 피드백 강화 학습이라고 불렀다. HITL이 한 단계 위로 올라간 형태다. 사람은 여전히 목표를 쓰지만 개별 사례를 직접 판정하지는 않는다.²⁵

4.2. 확장 가능한 감독

확장 가능한 감독(scalable oversight)은 이 흐름의 극단적인 경우를 가리키는 이름이다. Amodei 등은 2016년 AI 사고 위험의 구체적인 다섯 문제 가운데 하나로 이를 제시했다. 평가 비용이 너무 커서 자주 평가할 수 없는 목표를 향해 시스템을 학습시켜야 하는 문제이며, 참된 신호인 주의 깊은 사람의 몇 시간 검토 뒤 판단은 드물게만 얻을 수 있다. 관련 기법으로는 토론, 재귀적 보상 모델링, LLM 평가자 평가가 있다. 모두 제한된 사람의 노력을 더 많은 모델 행동에 넓게 펼치려는 시도다.²⁶

5. 배포 시점의 감독

배포 쪽 HITL은 승인 게이트, 에스컬레이션 경로, 검토 대기열로 나타난다. 외부 도구에 모델이 접근하도록 하는 널리 채택된 인터페이스인 모델 컨텍스트 프로토콜(MCP) 명세는 이 요구를 표준에 명시했다. 명세는 신뢰·안전과 보안을 위해 도구 호출을 거부할 수 있는 사람이 항상 루프 안에 있어야 한다(SHOULD)고 적는다. 응용 프로그램은 노출된 도구를 보여 주고, 도구가 실행될 때 시각적으로 표시하며, 확인 창을 띄워야 한다. 같은 문서는 민감한 작업에서 확인을 요청하고 호출 전에 도구 입력값을 사용자에게 보여 주도록 한다. 이것이 AI 에이전트 전반이 따르는 패턴이다.¹³

실시간으로 행동해야 하는 시스템은 행동마다 승인하는 단계가 너무 느려 온 더 루프 위치로 기운다. Waymo는 ‘플리트 리스폰스(fleet response)’ 기능을 설명했다. 원격 에이전트가 차량 외부 카메라의 실시간 영상과 차량이 인지한 대상을 보여 주는 3D 그래픽을 보고, 차량이 모호한 장면에 대해 던진 질문에 답하는 방식이다. 예컨대 비정형 콘 배치를 한 공사 현장이 그런 장면이다. Waymo는 자사 자율주행 시스템이 원격 에이전트의 입력에만 의존하지 않으며 차량 통제권을 언제나 쥐고 있다고 밝혔다. 사람은 실시간 제어 루프 바깥에서 자문 역할을 맡는 셈이다.²⁷

6. 규제와 법적 요건

6.1. EU AI법의 인적 감독 조항

인간 감독은 구속력 있는 법에 명문화된 몇 안 되는 AI 안전 관행 가운데 하나다. EU AI법(규정 (EU) 2024/1689) 제14조는 고위험 AI 시스템이 사용되는 동안 자연인에 의해 효과적으로 감독될 수 있도록 설계되어야 한다고 요구한다. 감독 조치는 위험, 자율성 수준, 사용 맥락에 비례해야 한다.

제14조 4항은 감독자가 할 수 있어야 하는 일을 열거한다. 시스템의 능력과 한계를 이해하고, 자동화 편향을 인식하며, 출력을 올바르게 해석하고, 시스템을 쓰지 않거나 출력을 번복하기로 결정하며, 정지 기능으로 개입하거나 중단시킬 수 있어야 한다. 제14조 5항은 원격 생체 인식 식별 시스템에 두 사람 규칙을 더한다. 식별 결과는 최소 두 명의 자연인이 별도로 검증·확인하기 전에는 조치할 수 없다. 다만 연합법이나 국내법이 법 집행, 이민, 국경 통제, 망명 용도에서 이를 과도하다고 보는 경우에는 예외를 둔다.⁵

제26조 2항은 같은 의무를 배포자에게 지운다. 배포자는 인적 감독을 필요한 역량, 교육, 권한과 필요한 지원을 갖춘 자연인에게 맡겨야 한다. 2025년 2월 2일부터 적용된 제4조는 제공자와 배포자가 시스템을 운용하는 직원의 AI 리터러시를 충분한 수준으로 확보하도록 요구한다.^28,29

6.2. 데이터 보호법과 적용 시점

데이터 보호법의 유사 규정은 AI법보다 먼저 있었다. GDPR 제22조는 법적 효력이나 이에 준하는 중대한 영향을 주는 전적으로 자동화된 처리에 따른 결정을 제한한다. 이런 처리가 허용되는 경우 관리자는 정보주체의 권리를 지켜야 하며, 최소한 ‘관리자 측의 인적 개입을 받을 권리’를 포함해야 한다.³⁰

AI법 자체의 일정은 2026년에 바뀌었다. 제113조에 따라 규정은 단계적으로 적용된다. 금지 조항은 2025년 2월 2일부터, 범용 AI와 거버넌스 규칙은 2025년 8월 2일부터, 규정의 대부분은 2026년 8월 2일부터 적용된다. 디지털 옴니버스라 불리는 간소화 패키지는 제14조를 포함한 고위험 의무를 더 뒤로 미뤘다. 유럽의회는 2026년 6월 16일 찬성 423표, 반대 57표, 기권 174표로 이를 승인했다. 이에 따라 독립형 부속서 III 고위험 시스템의 준수 시점은 2027년 12월 2일로, 규제 제품에 내장된 AI는 2028년 8월 2일로 옮겨졌다. 비동의 친밀 이미지나 아동 성 학대물을 생성하는 시스템을 금지하는 조항도 추가되었다. 이사회는 2026년 6월 29일 최종 승인을 내렸다.^31,32,33

7. 자율 무기와 치명적 결정

가장 날카로운 논쟁은 기계가 사람의 결정 없이 치명적 무력을 선택하고 적용해도 되는지다. 국제적십자위원회(ICRC)는 2021년 5월 공식 입장을 내고, 예측할 수 없는 자율 무기 체계는 배제하고 사람을 겨냥해 무력을 쓰도록 설계된 체계는 금지하며, 그 밖의 체계는 표적, 지속 시간, 지리적 범위, 사용 규모를 제한해 규제하라고 권고했다. 또한 효과적인 사람의 감독과 제때의 개입 및 비활성화를 보장하는 인간-기계 상호작용 요건을 두라고 했다.³⁴

2023년 10월 5일 António Guterres 유엔 사무총장과 Mirjana Spoljaric ICRC 총재는 공동 성명으로 각국에 자율 무기에 관한 법적 구속력 있는 문서를 협상하고 2026년까지 협상을 마치라고 촉구했다.³⁵

유엔 총회는 2024년 12월 2일 치명적 자율 무기 체계에 관한 결의를 찬성 166표, 반대 3표(벨라루스, 북한, 러시아), 기권 15개국으로 채택했다. 2025년 11월 6일에는 제1위원회가 자율 무기 체계에 관한 추가 결의를 찬성 156표, 반대 5표, 기권 8표로 채택했다. 이 결의는 특정재래식무기협약 당사국들에게 정부전문가그룹이 개발 중인 요소 집합을 완성해 향후 협상에 대비하라고 요청했다. 이 문구는 구속력 있는 문서의 협상을 진행 중인 단계가 아니라 앞으로의 과제로 다룬다.^36,37

7.1. 패트리엇 사례

감독자가 실질적인 통제권을 쥔다는 가정에 가장 자주 제기되는 반례는 2003년 이라크 침공 당시 미국의 패트리엇 대공·미사일 방어 체계다. 신미국안보센터(CNAS)의 2017년 보고서에서 John K. Hawley는 이 작전에서 패트리엇 부대가 수행한 탄도미사일 교전 11건 가운데 2건이 오인 격추였다고 기록했다. 영국 공군 토네이도 1기와 미 해군 F/A-18 1기가 파괴되었다.

Hawley는 실패 원인을 기계 오류와, 자동화된 체계를 감독 통제하는 데서 생기는 인적 성능 문제에서 찾는다. 긴 시간 단조로운 감시가 이어지다 몇 초 동안만 결정이 필요한 구조, 승무원이 개입할 실질적 지점이 적은 점, 운용자가 체계의 분류를 신뢰하도록 장려한 훈련과 교리가 그 문제다.¹⁴

8. 인간 감독

정책이 전제하는 감독을 사람이 실제로 수행할 수 있는지에 관한 실증 기록은 낙관적이지 않다. Raja Parasuraman과 Dietrich Manzey가 2010년 Human Factors에 발표한 검토는 감독 통제의 자동화 안일함과 의사결정 지원의 자동화 편향이라는 따로 연구되던 두 문헌을 통합했다. 두 현상 모두 믿을 만해 보이는 보조 수단이 있을 때 주의가 배분되는 방식에서 비롯된다고 주장했다. EU AI법의 기초자들도 이를 알고 있었다. 제14조 4항 (b)는 감독자가 자동화 편향에 맞설 수 있도록 설계가 도와야 한다고 명시한다.^5,9

8.1. 실험 연구와 정책 평가

Ben Green과 Yiling Chen은 이 가정을 직접 시험했다. 아마존 메케니컬 터크에서 보석 석방과 금융 대출을 다룬 통제 실험에서, 위험 평가 도구의 도움을 받아 예측하는 참여자들은 자신의 예측이나 도구의 예측 정확도를 효과적으로 평가하지 못했다. 도구의 성과에 따라 의존도를 보정하지도 않았고, 시험한 모든 제시 조건에서 도구와의 상호작용에 편향을 보였다.¹⁰

Green은 2022년 「Computer Law & Security Review」 기고에서 이 논의를 정책으로 확장했다. 정부 알고리즘에 사람의 감독을 규정한 정책 41건을 분석해 두 가지 결함을 찾았다. 사람은 정책이 말하는 감독 기능을 수행할 수 없고, 그 결과 정책이 결함 있고 논쟁적인 도구의 사용을 문제 해결 없이 정당화한다는 것이다.¹¹

8.2. 도덕적 완충 지대

Madeleine Clare Elish는 2019년 「Engaging Science, Technology, and Society」 논문에서 이런 책임 귀속을 ‘도덕적 완충 지대(moral crumple zone)’라고 불렀다. 기계의 행동을 통제할 권한이 제한적이었더라도, 실패의 책임이 기계에 가장 가까운 사람 운영자에게 떨어진다는 뜻이다. 가장 명확한 사례는 2018년 3월 애리조나주 템피에서 보행자가 숨진 Uber Advanced Technologies Group 충돌에 대한 미국 국가교통안전위원회(NTSB) 조사다. 위원회는 주된 원인을 운전자가 개인 휴대전화에 시선을 빼앗겨 주행 환경과 자동 주행 시스템의 작동을 감시하지 못한 것으로 판단했다. 기여 요인으로는 회사의 부적절한 안전 위험 평가 절차, 운전자에 대한 비효과적 감독, 운전자의 자동화 안일함을 다루는 장치의 부재, 횡단보도 밖에서의 보행자 횡단, 애리조나주의 자율주행 시험에 대한 불충분한 감독이 꼽혔다.^38,39

9. 2025~2026년 동향

제14조가 적용되도록 되어 있던 법정 기한은 1년 넘게 미뤄졌다. 독립형 고위험 시스템은 2026년 8월 2일에서 2027년 12월 2일로, 규제 제품에 내장된 AI는 2028년 8월 2일로 밀렸다. 그 사이에는 업계의 자체 규범이 대부분의 역할을 맡게 된다.^32,33

배포 쪽에서는 이런 규범이 개별 제품에 맡겨지지 않고 점차 프로토콜에 명문화되고 있다. 모델 컨텍스트 프로토콜은 확인 요건을 사용자가 아니라 클라이언트 애플리케이션에 둔다. 명세는 클라이언트가 노출된 도구를 표시하고, 실행 중임을 알리며, 민감한 작업 전에 확인을 요청해야 한다고 규정한다. 이 설계 선택은 하나의 작업이 여러 도구 호출을 낳고 검토자가 클라이언트가 보여 주기로 한 것만 보는 에이전트형 AI에서 중요하다.¹³

학습 쪽에서는 사람이 맡는 몫이 일부에서는 줄고 일부에서는 더 전문화되고 있다. 헌법적 AI 등의 방법은 사람의 비교를 모델이 생성한 비교로 대체하고, 사람은 개별 출력을 판단하는 대신 통치 원칙을 쓰는 역할을 맡는다. 과거에 주석이 필요했던 영역의 일부는 합성 데이터가 대신한다. 동시에 돈은 전문가 노동으로 옮겨 갔다. Mercor는 2025년 10월 학습·평가 데이터에 대해 분야 전문가에게 보수를 지급하는 사업 모델로 기업가치 100억 달러를 인정받았다.^19,25