컴퓨터 사용 에이전트

쉽게 말하면, 컴퓨터 사용 에이전트는 AI가 사람처럼 화면을 보고 마우스와 키보드를 조작해 작업을 대신 해 주는 기능이다. 프로그램끼리 연결하거나 명령어를 입력하는 대신, 화면에 보이는 버튼과 입력란을 직접 다루는 것이 특징이다.

1. 개요

컴퓨터 사용(computer use)은 인공지능 모델이 화면을 보고 마우스와 키보드 동작을 수행해 컴퓨터를 제어하는 능력이다. API나 명령줄 인터페이스로 상호작용하는 대신, 컴퓨터 사용 에이전트는 스크린샷으로 그래픽 사용자 인터페이스(GUI)를 인식하고, 화면 상태를 추론한 뒤, 버튼 클릭, 텍스트 입력, 스크롤, 애플리케이션 간 이동 같은 동작을 실행한다.

Anthropic은 이 기능을 소개하면서 Claude가 사람이 하는 방식대로 컴퓨터를 쓰게 한다고 설명했다. 화면을 보고, 커서를 움직이고, 버튼을 클릭하고, 텍스트를 입력하는 방식이다.²

이 개념은 2024년 말 실용 제품으로 등장했다. Anthropic은 2024년 10월 22일 Claude 3.5 Sonnet에 컴퓨터 사용 기능을 출시했다. 회사는 이를 공개 베타로 컴퓨터 사용을 제공한 최초의 프런티어 AI 모델이라고 소개했다. OpenAI는 2025년 1월 23일 CUA(Computer-Using Agent) 모델로 구동되는 Operator를 내놓았고, 출시 시점에 OSWorld 벤치마크에서 38.1%를 기록했다. Google은 2024년 12월 브라우저 기반 에이전트인 Project Mariner를 소개했다.^2,3,4,9

2026년 중반 기준으로 컴퓨터 사용은 AI 개발의 치열한 경쟁 분야가 되었다. 여러 에이전트가 표준 벤치마크에서 사람 기준선을 넘어섰다. 공개 가중치 전문 모델인 H Company의 Holo3가 2026년 4월 29일 기준 OSWorld-Verified 리더보드 1위(82.6%)를 차지하고 있다. 범용 프런티어 모델인 Claude Opus 4.7(78.0%)과 GPT-5.5(78.7%)는 선두와 몇 점 차이 안에 있다.^7,8

2. 연혁

2.1. 초기 접근법

현재 세대의 컴퓨터 사용 에이전트 이전에도 연구자들은 AI가 그래픽 인터페이스와 상호작용하게 하는 여러 방법을 시도했다. 화면 스크래핑(렌더링된 인터페이스에서 텍스트를 추출하는 방식), 접근성 API 연동(OS 수준의 접근성 트리로 인터페이스 구조를 파악하는 방식), Selenium식 브라우저 자동화(DOM 조작으로 웹 브라우저를 프로그램으로 제어하는 방식)가 있었다. 이 방식들은 깨지기 쉬웠다. 각 애플리케이션의 내부 구조를 미리 알아야 했고, 인터페이스가 바뀌면 곧바로 작동하지 않았다.

최신 멀티모달 언어 모델의 시각 능력은 근본적으로 다른 접근을 가능하게 했다. 인터페이스 요소에 구조적으로 접근하는 대신, 시각 능력을 갖춘 모델이 스크린샷을 보고 사람처럼 화면에 무엇이 있는지 이해할 수 있게 되었다.

2.2. Anthropic의 Claude 컴퓨터 사용(2024년 10월)

Anthropic은 2024년 10월 22일 업데이트된 Claude 3.5 Sonnet 모델과 함께 컴퓨터 사용 기능을 퍼블릭 베타로 출시했다. 주요 AI 기업이 자율 데스크톱 제어를 위한 실서비스급 API를 제공한 것은 이때가 처음이었다. 발표문은 개발자가 Claude에게 사람이 하듯 화면을 보고, 커서를 움직이고, 버튼을 클릭하고, 텍스트를 입력하도록 지시할 수 있다고 설명했다. 이 기능은 출시 첫날부터 Anthropic API, Amazon Bedrock, Google Cloud의 Vertex AI에서 이용할 수 있었다.

출시 당시 Anthropic은 한계도 숨기지 않았다. 이 기능이 아직 실험 단계이며 때로 번거롭고 오류가 잦다고 밝혔다. Claude가 잠깐 나타났다 사라지는 알림을 놓칠 수 있고, 스크롤에 어려움을 겪으며, 커서를 정확한 자리에 두기 어려울 수 있다고도 덧붙였다. 이런 한계에도 이번 출시는 자동화 워크플로를 만드는 개발자들의 상당한 관심을 끌었다.²

2.2.1. 초기 도입 기업

출시 당시 여섯 개 기업이 Claude 컴퓨터 사용의 초기 도입 사례로 소개되었다.²

이 기업들은 수십, 때로는 수백 단계가 필요한 작업을 수행하고 있었다. 베타의 초기 단계에서도 복잡한 다단계 자동화의 가능성을 보여 주었다.²

2.3. 모델 개발 방식

Anthropic은 2024년 10월 출시와 함께 「Developing a computer use model」이라는 후속 블로그 글을 게재해 학습 방식을 자세히 설명했다. 회사가 이전에 해 온 도구 사용과 멀티모달 연구가 이 작업의 기반이었다. 두 능력을 결합해 Anthropic은 Claude가 화면에서 벌어지는 일을 해석하고, 사용 가능한 소프트웨어 도구로 작업을 수행하도록 학습시켰다.¹⁰

학습은 안전상의 이유로 의도적으로 제한되었다. Claude는 계산기나 텍스트 편집기 같은 몇 가지 단순한 소프트웨어로만 학습했고, 학습 중에는 인터넷 접속을 막았다. 이처럼 좁은 학습 범위에도 불구하고 연구팀은 Claude가 학습 중 한 번도 보지 못한 다양한 애플리케이션에 얼마나 빨리 적응하는지 놀랐다고 밝혔다.

이는 모델이 특정 인터페이스 배치를 외운 것이 아니라 일반화할 수 있는 공간 추론을 발달시켰음을 시사했다.

핵심 기술 과제는 Claude에게 픽셀을 정확히 세는 법을 가르치는 것이었다. 커서 이동 거리를 계산하는 능력이 없으면 모델은 마우스 명령을 제대로 내리지 못했다. 이는 대규모 언어 모델이 단어 속 글자 수를 세는 것처럼 겉보기에 단순한 작업에서 자주 어려움을 겪는 것과 비슷하다.

모델은 장애물을 만나면 그냥 실패하는 대신 작업을 다시 시도하는 자기 교정 행동도 보였다. Anthropic은 Claude의 인식 방식을 플립북(flipbook) 방식이라고 설명했다. 스크린샷을 찍고, 보이는 것을 분석한 뒤, 명령을 순차적으로 내리는 방식이다. 연속 영상을 보는 것과 달리 짧게 나타나는 알림이나 빠르게 바뀌는 UI 요소를 감지하는 데 한계가 있다.

2.4. OpenAI Operator(2025년 1월)

OpenAI는 2025년 1월 23일 Operator를 출시했다. Operator는 Computer-Using Agent(CUA) 모델로 구동되었다. CUA는 GPT-4o의 시각 능력과 강화 학습으로 얻은 고급 추론을 결합했다. OpenAI는 CUA가 인식, 추론, 행동을 통합한 반복 루프로 작동한다고 설명했다. CUA는 원시 픽셀 데이터를 처리해 화면을 이해하고, 가상 마우스와 키보드로 행동한다.^3,9

Anthropic이 개발자에게 직접 컴퓨터 사용 앱을 만들 수 있도록 저수준 API를 제공한 것과 달리, Operator는 일반 소비자용 제품이었다. OpenAI가 호스팅하는 보안 가상 브라우저에서 실행되어 사용자가 자체 샌드박스 환경을 설정할 필요가 없었다. Operator는 처음에 미국의 ChatGPT Pro 구독자(월 200달러 등급)에게 제공되었다.

CUA는 세 단계 순환으로 작동한다. 인식 단계에서는 스크린샷이 모델의 문맥에 더해진다. 추론 단계에서는 모델이 사고의 연쇄(chain-of-thought)로 관찰을 평가하고 중간 단계를 추적하며 상황에 맞춰 조정한다. 행동 단계에서는 작업이 끝나거나 사용자 입력이 필요할 때까지 클릭, 스크롤, 입력을 수행한다. CUA는 OS나 웹 전용 API에 기대지 않고 GUI와 직접 상호작용하도록 학습되었다.

출시 당시 OpenAI는 CUA가 OSWorld에서 38.1%, WebArena에서 58.1%, WebVoyager에서 87%를 기록했다고 밝혔다. 다만 OpenAI가 실행 환경을 샌드박스 가상 브라우저로 호스팅하기 때문에 CUA는 브라우저 기반 작업으로 제한되었다. 전체 데스크톱 제어를 지원하는 Anthropic의 방식과 다른 점이다.⁹

2.5. ChatGPT agent와 Atlas

OpenAI는 2025년 7월 17일 Operator를 ChatGPT agent라는 통합 제품으로 묶었다. ChatGPT 작성창의 도구 드롭다운에서 '에이전트 모드'로 바로 쓸 수 있다. 새 제품은 따로 있던 세 기능을 합쳤다. Operator의 행동 수행 원격 브라우저, 딥 리서치의 웹 종합 기능, ChatGPT의 대화형 인터페이스다. OpenAI는 Operator로 시도된 많은 질의가 사실 딥 리서치에 더 적합했다는 점을 이유로 들었다.¹¹

ChatGPT agent의 내장 가상 브라우저는 Operator의 브라우저 자동화를 이어받고, 코드 인터프리터와 터미널 접근을 추가했다. 발견한 내용을 요약한 편집 가능한 슬라이드쇼와 스프레드시트도 만들 수 있게 되었다.

독립형 Operator(operator.chatgpt.com)는 발표 몇 주 만에 지원이 중단되었고, 2025년 8월 31일 서비스가 종료되었다. ChatGPT agent는 ChatGPT Pro, Team, Plus 사용자에게 출시되었다. 월 질의 한도는 Pro 400회, Team과 Plus 40회다. 출시 당시 ChatGPT agent는 WebArena에서 브라우저 작업의 최고 수준 결과를 냈고, OSWorld에서는 약 38.1%를 기록했다. CUA 백본을 이어받은 결과다.¹²

OpenAI는 2025년 10월 21일 ChatGPT Atlas를 출시했다. ChatGPT를 기본 인터페이스로 통합한 Chromium 기반 웹 브라우저다. 사이드바 도우미는 현재 페이지에 대한 질문에 답하고, 내용을 요약하고, 선택한 텍스트를 다시 쓸 수 있다. 핵심 컴퓨터 사용 기능은 에이전트 모드다. ChatGPT가 사용자를 대신해 열린 브라우저 창을 살피고 조작한다. 에이전트 모드는 출시 당시 ChatGPT Plus, Pro, Business 구독자에게 미리보기로 제공되었으며, 우선 macOS에서 쓸 수 있다. Windows, iOS, Android 버전은 출시가 예고되어 있다. Atlas는 OpenAI의 컴퓨터 사용을 원격 샌드박스가 아니라 브라우저 계층 자체로 가져왔다.¹³

2.6. Google Project Mariner와 Gemini Agent

Google DeepMind는 2024년 12월 11일 AI 기반 웹 브라우징을 위한 연구 프로토타입 Project Mariner를 공개했다. Gemini 2.0을 기반으로, Mariner는 웹사이트를 탐색하고, 버튼을 클릭하고, 양식을 채우고, 검색하며, 온라인 작업을 자율적으로 완료할 수 있었다.⁴

초기 출시는 선택된 테스터 집단으로 제한되었다. Google은 2025년 Google I/O에서 접근을 넓히고 여러 업그레이드를 발표했다. Mariner는 클라우드의 가상 머신에서 실행되도록 바뀌었는데, 이는 OpenAI의 방식과 비슷하다. 그 덕분에 사용자는 에이전트가 최대 10개 작업을 백그라운드에서 동시에 처리하는 동안 자기 일을 계속할 수 있었다. 'Teach and Repeat' 기능으로 사용자가 워크플로를 보여 주면 에이전트가 이를 재현할 수 있었다.

Mariner 접근은 월 249.99달러인 Google AI Ultra 요금제와 묶여 있었다. Google은 Mariner의 기능을 Gemini API와 Vertex AI로도 제공해 개발자가 자체 애플리케이션을 만들 수 있게 했다. CUA와 마찬가지로 Project Mariner는 브라우저 기반 상호작용으로 제한되었으며 전체 데스크톱 제어는 제공하지 않았다.

Google은 2026년 5월 4일 Project Mariner를 독립 제품으로 종료했다. 약 17개월 동안 이어진 실험이 끝난 것이다. Google은 작업을 버리는 대신 Mariner의 브라우저 에이전트 기술을 Gemini 앱의 작업 자동화 계층인 Gemini Agent와 Google 검색의 AI 모드에 통합했다. Gemini Agent는 Gemini 3에서 실행되며, Mariner의 다단계 계획, 지속형 클라우드 세션, 최대 10개 병렬 작업 조정 기능을 이어받았다. Deep Research, Canvas, Gmail과 Calendar 같은 Workspace 앱과의 연동도 강화되었다.^14,15

Gemini Agent는 언어를 영어로 설정한 미국의 Google AI Ultra 구독자에게 웹에서 제공된다. Google은 2026년 여름부터 같은 에이전트 기능을 Android 휴대폰, 워치, 자동차, 안경으로 넓힐 계획이며, 우선 일부 Samsung Galaxy와 Pixel 기기부터 적용한다. 한편 Google은 2026년 1월 29일 Chrome 브라우저 안에서 쇼핑, 양식 작성 같은 다단계 작업을 자율적으로 처리하는 Gemini 3 기반 기능 Chrome Auto Browse를 출시했다. Gemini Agent와 Chrome Auto Browse는 독립형 Mariner를 대신해, 이미 수억 명이 쓰는 제품 안에 에이전트 기능을 넣는다.¹⁶

2.7. Claude의 Mac 사용과 브라우저 확장

Anthropic은 2026년 3월 23일 Claude Cowork와 Claude Code에서 쓸 수 있는 macOS용 네이티브 컴퓨터 사용 기능을 도입했다. 2024년 베타의 API 전용 방식에서 벗어나, Claude가 사용자의 Mac 데스크톱을 직접 제어하는 통합 소비자 제품으로 전환한 것이다.¹⁷

Mac 컴퓨터 사용 기능은 우선순위 도구 체계를 따른다.

• 커넥터 우선: Gmail, Google Drive, Slack처럼 대상 서비스와 직접 연동된 커넥터가 있으면 Claude가 이를 쓴다. 가장 빠르고 안정적인 경로다.
• 브라우저 탐색: 커넥터가 없으면 Chrome을 열어 웹 기반 도구에 접근한다.
• 화면 조작: 마지막 수단으로 데스크톱을 직접 제어한다. 사람처럼 마우스를 움직이고, 클릭하고, 입력하고, 스크롤하며 그래픽 인터페이스를 다룬다.

Anthropic은 화면 조작이 커넥터보다 느리다고 인정했다. 직접 연동 대신 화면으로 작업하면 시간이 더 걸린다. 복잡한 작업은 두 번째 시도가 필요할 때도 있으며, 회사는 이 기능을 프로덕션 도구가 아니라 리서치 프리뷰로 설명했다.

Mac 컴퓨터 사용 기능은 휴대폰에서 Claude에게 작업을 맡기는 동반 기능 Dispatch와 함께 출시되었다. Dispatch는 2026년 3월 17일 처음 공개되었으며, Claude Max 구독자에게 먼저, 며칠 뒤 Pro 구독자에게 제공되었다. 사용자는 Claude 모바일 앱의 QR 코드를 스캔해 휴대폰을 Claude Desktop에 연결한 뒤, 자리를 비운 동안 작업을 맡길 수 있다. Claude는 데스크톱에서 작업을 수행하고, 사용자가 돌아오면 완성된 결과물을 전달한다. Dispatch는 클라우드 컴퓨팅 서비스가 아니라 원격 제어 기능이므로 컴퓨터가 켜져 있어야 한다. Mac 컴퓨터 사용 기능은 처음에 macOS의 Claude Pro 및 Claude Max 구독자에게 제공된다.¹⁸

Anthropic은 2025년 8월 Claude for Chrome('Claude in Chrome'이라고도 함)을 출시했다. Claude Max 구독자 중 신뢰할 수 있는 1,000명으로 제한된 리서치 프리뷰였다. 이 브라우저 확장 프로그램은 사용자가 사이드바에서 Claude와 대화하는 동안 모델이 웹사이트를 탐색하고, 양식을 채우고, 데이터를 추출하고, 다단계 작업을 사용자를 대신해 실행하게 한다. 2025년 11월까지 모든 Max 구독자로, 같은 해 12월까지 Claude Pro를 포함한 모든 유료 요금제로 접근이 넓어졌다. Claude for Chrome은 Claude Code, Cowork, Claude Desktop과 연동되며, 사용자가 에이전트에게 단계를 가르쳐 나중에 재생할 수 있는 워크플로 기록 기능도 추가되었다. Anthropic은 자율 모드 안전 장치를 추가해 프롬프트 인젝션 공격 성공률을 23.6%에서 11.2%로 낮췄다고 밝혔다. 다만 위험이 제거된 것은 아니라고 덧붙였다.¹⁹

2.8. Claude Opus 4.7과 Mythos Preview

Anthropic은 2026년 4월 16일 Claude Opus 4.7을 출시했다. 네이티브 고해상도 이미지를 지원한 첫 Claude 모델이며, 이전 Opus 4.6 세대보다 컴퓨터 사용 성능이 크게 높아졌다. 최대 이미지 해상도는 긴 변 기준 1,568픽셀(1.15메가픽셀)에서 2,576픽셀(3.75메가픽셀)로 늘었다. 픽셀 밀도는 이전보다 약 3.3배다. 좌표 공간이 이제 실제 픽셀 좌표와 1:1로 대응해, 스크린샷과 컴퓨터 사용 작업 흐름을 복잡하게 만들던 축척 계수 계산이 필요 없어졌다. Anthropic은 이 해상도 변화가 컴퓨터 사용과 스크린샷, 산출물, 문서 이해 작업에 특히 중요하다고 강조했다.^20,21

Opus 4.7에는 에이전트 작업용 새 xhigh 노력 수준, 전체 에이전트 루프에 걸쳐 모델에 권고용 토큰 한도를 주는 작업 예산(task budgets), 새 토크나이저도 추가되었다. 적응형 사고(adaptive thinking)가 유일하게 지원되는 사고 모드이며, 확장 사고 예산은 더 이상 받지 않는다. 표준 API 요금은 백만 입력 토큰당 5달러, 백만 출력 토큰당 25달러이고, 100만 토큰 컨텍스트 창에도 장문맥 할증은 없다.

OSWorld-Verified 벤치마크에서 Opus 4.7은 78.0%를 기록했다. Opus 4.6의 72.7%에서 올라간 수치다. 공개 리더보드에서 H Company의 Holo3-35B-A3B(82.6%)와 Claude Mythos Preview(79.6%)에 이어 3위다.^7,8

Anthropic은 2026년 4월 7일 Claude Mythos Preview를 미리 공개했다. Opus 4.7보다 한 단계 높은 역량의 모델이다. 출시 당시 Mythos Preview는 초청형 프로그램 Project Glasswing을 통해서만 제공되었다. Anthropic을 포함한 출범 파트너 12곳과 중요 소프트웨어 인프라를 만들거나 관리하는 40곳 이상의 추가 기관이 참여했다. 파트너는 백만 입력 토큰당 25달러, 백만 출력 토큰당 125달러를 내며, 이는 Opus 4.7 요금의 5배다. 사이버 보안상의 이유로 접근이 제한되었다. Mythos는 OSWorld-Verified에서 79.6%를 기록해 범용 모델 가운데 최고점이었고, Holo3-35B-A3B에 이은 2위다. Anthropic은 일반 제공 날짜를 발표하지 않았다.^8,22,23

2.9. Holo3와 Mistral Le Chat

2026년 4월 1일 파리 기반 스타트업 H Company는 컴퓨터 사용을 위해 특별히 학습한 비전 언어 모델 계열 Holo3를 출시했다. Holo3는 두 가지 변형으로 구성된다. Holo3-35B-A3B는 350억 매개변수 가운데 활성 매개변수 3B를 쓰는 혼합 전문가(MoE) 모델로, Apache 2.0 라이선스로 Hugging Face에 공개되었다. Holo3-122B-A10B는 더 큰 API 전용 변형이다. 작은 모델은 VRAM 약 24GB의 GPU 한 장에서 로컬로 실행할 수 있다. 큰 모델은 백만 입력 토큰당 0.40달러, 백만 출력 토큰당 3.00달러이며, Opus 4.7보다 대략 10배 저렴하다.⁵

Holo3-35B-A3B는 2026년 4월 29일 기준 OSWorld-Verified 리더보드에서 82.6%로 1위에 올랐다. 공개 가중치 모델이 1위에 오른 첫 사례이며, 범용 프런티어 모델보다 크게 앞섰다. Holo3-122B-A10B는 78.85%로 뒤를 이었다.^5,8

H Company는 Holo3를 범용 어시스턴트가 아니라 컴퓨터 사용 전문 모델(computer-use specialist)로 설명했다. 이번 출시로, 전용 학습 데이터를 쓴 수직 특화 모델이 GUI 작업에서 훨씬 큰 범용 모델을 능가할 수 있다는 점이 드러났다.

Mistral AI는 2026년 4월 Le Chat에 Work 모드 미리보기를 추가했다. 기반 모델은 Mistral Medium 3.5다. Work 모드는 이메일, 캘린더, 메시징, GitHub, Jira, Slack 같은 연결된 도구에 걸쳐 다단계 에이전트 워크플로를 실행한다. 에이전트는 메시지 초안 작성, 이슈 생성, 보고서 작성을 할 수 있으며, 모든 도구 호출과 중간 단계를 사용자에게 보여 준다. 민감한 작업에는 명시적 승인이 필요하다. 세션이 여러 단계에 걸쳐 유지되어, 작업이 끝날 때까지 에이전트가 반복할 수 있다. Mistral은 Vibe 제품군에서 원격 코딩 에이전트도 도입했다. CLI나 Le Chat에서 생성해 클라우드에서 비동기로 실행할 수 있고, 로컬 CLI 세션을 클라우드로 텔레포트해 백그라운드에서 계속 돌릴 수도 있다.²⁴

3. 작동 원리

모든 주요 컴퓨터 사용 구현은 비슷한 인식, 추론, 행동 루프를 따르지만 구체적인 구현 방식은 서로 다르다.

3.1. 에이전트 루프

• 스크린샷 캡처: 시스템이 현재 화면 상태를 찍어 AI 모델에 보낸다.
• 시각 분석: 모델이 스크린샷에서 버튼, 입력란, 메뉴, 콘텐츠 같은 요소를 식별해 인터페이스의 현재 상태를 파악한다.
• 추론: 모델은 현재 화면 상태, 원래 작업 지시, 이전 동작의 기억을 바탕으로 다음 행동을 정한다.
• 행동 실행: 모델이 좌표 X,Y 클릭, 문자열 hello 입력, Enter 키 누르기, 아래로 스크롤 같은 구체적 행동을 출력하면 호스트 시스템이 이를 실행한다.
• 검증: 새 스크린샷을 찍고 순환을 반복한다. 모델은 행동이 의도한 효과를 냈는지 확인하고 계획을 조정한다.

이 루프는 모델이 작업이 끝났다고 판단하거나, 진행에 사람의 입력이 필요하다고 판단할 때까지 계속된다.

3.2. Anthropic API 구현

Anthropic의 컴퓨터 사용 도구는 Claude API에서 특수한 도구 유형으로 제공된다. 개발자는 지정한 화면 해상도로 컴퓨터 사용 도구를 정의해 프롬프트와 함께 모델에 전달한다. Claude는 도구 호출을 요청하고, 개발자의 애플리케이션이 이를 호스트 환경에서 실행한다. 이 도구는 스키마 없이 작동한다. 입력 스키마가 Claude 모델에 내장되어 있어 개발자가 수정할 수 없다.²⁵

컴퓨터 사용 도구는 여전히 베타이며, API 요청에 특정 베타 헤더가 필요하다. Claude 모델 세대마다 사용하는 도구 버전도 다르다.

도구 버전에 따라 사용할 수 있는 행동이 늘어났다.

Anthropic은 Docker 컨테이너, 웹 인터페이스, 예시 도구 구현을 담은 참조 구현을 GitHub에 제공한다. 실행 환경은 개발자가 준비한다. 보통 가상 X11 디스플레이 서버(Xvfb)를 갖춘 가상 머신이나 컨테이너이며, 여기서 Claude가 스크린샷으로 보는 데스크톱이 렌더링된다. 컴퓨팅 환경은 창 관리자(Mutter), 패널(Tint2), Firefox, LibreOffice, 텍스트 편집기 같은 미리 설치된 애플리케이션을 갖춘 경량 Linux 데스크톱이다.

개발자가 컴퓨터 사용 도구를 제공하면, Anthropic API는 Claude에게 샌드박스 컴퓨팅 환경을 쓸 수 있다고 알려 주는 시스템 프롬프트를 자동으로 만든다. 개발자의 시스템 프롬프트는 이 생성된 프롬프트와 함께 포함된다.

3.3. OpenAI와 Google의 구현 방식

OpenAI의 Computer-Using Agent는 같은 인식, 추론, 행동 패턴을 따르지만 구조가 다르다. 원래 Operator 제품은 OpenAI가 호스팅하는 보안 가상 브라우저에서 전부 실행되어, 사용자가 샌드박스 인프라를 직접 관리할 필요가 없었다. 설정이 쉬워져 특히 비기술 사용자에게 유리했지만, CUA는 브라우저 기반 작업에 제한되었다. Anthropic의 방식은 터미널 명령, 네이티브 애플리케이션, 파일 시스템 작업을 포함한 전체 데스크톱 제어를 지원한다.

2025년 7월 ChatGPT agent에서 OpenAI는 환경을 넓혀 가상 브라우저와 함께 코드 인터프리터와 터미널을 포함시켰고, 에이전트가 완료할 수 있는 작업 범위를 넓혔다. 2025년 10월 출시된 ChatGPT Atlas는 다른 길을 택했다. 원격 샌드박스에서 실행하는 대신 Atlas의 에이전트 모드가 사용자의 로컬 브라우저 세션에서 직접 작동하므로, 에이전트는 사용자가 로그인해 둔 것과 같은 페이지를 본다.

Project Mariner는 사용자가 Google AI Ultra 요금제를 통해 준비한 클라우드 호스팅 가상 머신에서 실행되었고, 에이전트는 최대 10개의 병렬 작업을 처리할 수 있었다. Mariner가 2026년 5월 종료된 뒤 같은 핵심 기능은 Gemini 앱의 Gemini Agent와 Chrome 브라우저의 Chrome Auto Browse를 통해 제공된다. Gemini Agent는 Gemini 3에서 실행되며 Workspace 앱과 Deep Research와의 연동을 강화했다. Chrome Auto Browse는 원격 샌드박스가 아니라 사용자의 브라우저 세션 안에서 작동한다.

4. 플랫폼 비교

주요 컴퓨터 사용 플랫폼은 적용 범위, 구조, 대상 사용자에서 서로 차이가 있다.

5. OSWorld 벤치마크

OSWorld는 컴퓨터 사용 에이전트를 평가하는 대표 벤치마크다. 카네기멜런대학교 등 여러 기관의 연구자들이 만들었으며, 2024년 4월 처음 발표되었고 NeurIPS 2024에 논문으로 채택되었다.

OSWorld는 멀티모달 에이전트를 테스트하기 위해 시뮬레이션이 아닌 실제 컴퓨터 환경을 제공한다. 과제 설정, 실행 기반 평가, 대화형 학습을 지원하며 Ubuntu, Windows, macOS에서 작동한다. 벤치마크에는 실제 웹·데스크톱 애플리케이션, OS 파일 작업, 여러 애플리케이션에 걸친 워크플로를 포함한 컴퓨터 과제 369개가 들어 있다.

단순화되었거나 시뮬레이션된 인터페이스에서 에이전트를 평가한 이전 벤치마크와 달리, OSWorld는 에이전트가 실제 운영체제와 실제 소프트웨어를 다루도록 요구한다. 과제는 단순한 파일 관리부터 여러 애플리케이션이 얽힌 복잡한 워크플로까지 다양하다. 논문이 발표된 2024년 4월 기준으로 사람은 과제의 72.36%를 완료했고 최고 모델은 12.24%만 완료했다. 저자들은 시스템이 주로 GUI 그라운딩과 운영 지식에서 어려움을 겪는다고 적었다. 약 70점이던 이 격차는 2026년 중반까지 좁혀졌으며, 이는 이 분야가 얼마나 빠르게 발전했는지 보여 준다.⁶

5.1. 성능 추이와 변형

OSWorld는 컴퓨터 사용 발전을 재는 표준 기준이 되었다. 짧은 기간에 점수가 얼마나 빨리 올랐는지 아래 표가 보여 준다.

사람 기준선은 OSWorld에서 72.36%이며, 같은 과제를 사람 참가자가 수행해 측정한 값이다. 2026년 4월 기준으로 여러 모델이 이 기준선을 넘었다. OSWorld-Verified 리더보드는 Holo3-35B-A3B가 82.6%로 1위이고, Claude Mythos Preview(79.6%), GPT-5.5(78.7%), Claude Opus 4.7(78.0%)이 뒤를 잇는다.^6,8

커뮤니티는 벤치마크의 여러 변형을 만들었다.

• OSWorld-Verified(2025년 7월): 웹 구조 변경, 지시문 모호성, 평가 견고성 등 300개 이상의 문제를 고친 대규모 업데이트다. AWS 지원으로 50배 병렬화가 가능해졌다. 현재 대부분의 리더보드가 이 버전을 기준으로 점수를 보고한다.
• OSWorld-Human: 사람이 과제를 푸는 방식에 대한 주석을 추가해 사람과 에이전트의 전략을 비교할 수 있게 한다.
• OSWorld-Grounding: OSWorld 과제와 에이전트 궤적을 이용해 더 세밀한 단일 단계 평가 과제를 만든다.²⁶

6. 기타 벤치마크

OSWorld 외에도 컴퓨터 사용 능력을 평가하는 벤치마크가 여럿 있다.

WebArena의 CUA 58.1%와 WebVoyager의 87%는 2025년 1월 Operator 출시 당시 OpenAI가 보고한 수치다.⁹

7. 안전과 보안

컴퓨터 사용은 실제 환경에서 실제 행동을 하므로, 전통적인 챗봇 대화보다 큰 안전 위험을 낳는다.

7.1. 프롬프트 인젝션

가장 심각한 위험 가운데 하나는 화면 내용을 통한 프롬프트 인젝션이다. 모델은 화면에 보이는 모든 것을 읽고 해석하므로, 웹사이트나 문서의 악성 콘텐츠가 에이전트에게 의도하지 않은 행동을 지시할 수 있다. 예를 들어 웹 페이지에 숨겨진 글이 에이전트에게 다른 사이트로 이동해 민감한 정보를 입력하라고 지시할 수 있다.

Anthropic은 프롬프트에 대해 자동 분류기를 실행해 스크린샷 속 잠재적 인젝션을 표시하는 방식으로 대응했다. 분류기가 잠재적 인젝션을 감지하면 모델은 진행하기 전에 사용자 확인을 요청하도록 유도된다. 다만 이 방어는 완벽하지 않으며, Anthropic은 추가 예방 조치를 권장한다. Claude for Chrome 확장 프로그램에서는 자율 모드 안전 장치를 더하자 프롬프트 인젝션 공격 성공률이 23.6%에서 11.2%로 줄었다고 밝혔다. 이는 위협의 규모와 현재 방어의 한계를 함께 보여 준다.

7.2. 자율 행동의 위험

컴퓨터 사용 에이전트는 구매, 이메일 발송, 파일 삭제, 설정 변경처럼 실제 결과가 따르는 행동을 할 수 있다. 에이전트가 작업을 잘못 해석하거나 오류를 만나면 결과를 되돌리기 어려울 수 있다. 에이전트가 자율적으로 움직이기 때문에, 실패가 피해를 낳기 전에 사람이 개입하기도 더 어렵다.

International AI Safety Report(2026)는 컴퓨터 사용 에이전트를 신중한 거버넌스가 필요한 범주로 특별히 지목했다. 보고서는 AI 모델을 도구와 결합하는 방식이 발전하면서, 메모리, 컴퓨터 인터페이스, 웹 브라우저 같은 도구를 쓰며 세계와 자율적으로 상호작용하는 강력한 AI 에이전트가 가능해졌다고 지적했다.²⁷

7.3. API 수준의 예방 조치

Anthropic 문서는 API를 통한 컴퓨터 사용 배포에 여러 안전 조치를 권장한다.

• 최소 권한의 전용 가상 머신이나 컨테이너를 사용해 직접적인 시스템 공격이나 사고를 막는다.
• 계정 로그인 정보 같은 민감한 데이터에 모델이 접근하지 못하게 해 정보 탈취를 막는다.
• 인터넷 접속을 승인된 도메인 목록(허용 목록)으로 제한해 악성 콘텐츠 노출을 줄인다.
• 금융 거래, 서비스 약관 동의, 통신 발송처럼 실제 결과가 따르는 행동에는 사람의 확인을 요구한다.²⁵

OpenAI의 Operator는 사용자의 실제 컴퓨터가 아니라 샌드박스 가상 브라우저에서 실행해, 오류나 프롬프트 인젝션에 따른 피해를 제한하는 방식으로 이런 우려 일부를 구조적으로 다뤘다. ChatGPT Atlas는 사용자의 로컬 브라우저 세션에서 에이전트 모드를 실행해 이 접근을 부분적으로 되돌린다. 에이전트는 로그인된 세션에 접근하지만 파일 시스템이나 터미널 접근 권한은 없다.

7.4. Cowork와 Mac 사용의 안전 장치

2026년 3월 Claude Cowork에 도입된 Mac 컴퓨터 사용은 소비자용 데스크톱 사용에 맞춘 계층형 안전 모델을 갖췄다.

• 앱별 권한: Claude는 Mac의 각 애플리케이션에 접근하기 전에 명시적 권한을 요청한다. 사용자는 화면 프롬프트로 접근을 승인해야 한다.
• 기본 앱 제한: 투자 플랫폼과 암호화폐 도구 같은 민감한 앱은 기본적으로 차단된다. 사용자는 특정 앱 접근을 막는 사용자 지정 차단 목록을 설정할 수 있다.
• 파괴적 행동 확인: Cowork는 파일을 영구 삭제하기 전에 명시적 허용을 요구한다. 전용 권한 창이 뜨고, 사용자가 '허용'을 선택해야 Claude가 삭제를 수행할 수 있다.
• 학습된 행동 경계: Claude는 승인 없이 자금을 이체하거나, 파일을 수정·삭제하거나, 민감한 데이터를 처리하지 않도록 학습되었다. Anthropic은 이 안전 장치가 완벽하지 않아 Claude가 가끔 이 경계를 벗어날 수 있다고 인정한다.
• 프롬프트 인젝션 검사: 화면 상호작용 중 자동 분류기가 모델 활성화 내부에서 인젝션 시도를 검사한다.
• 파일 시스템 격리 권장: Anthropic은 넓은 파일 시스템 접근을 주기보다 Claude 전용 작업 폴더를 만들라고 권장한다. 재무 기록과 자격 증명 같은 민감한 문서를 보호하기 위해서다.²⁸

애플리케이션 간 영향은 여전히 과제다. Claude가 한 앱에서 링크를 클릭하면, 사용자가 해당 브라우저 사용을 Claude에게 명시적으로 허용하지 않았더라도 그 링크는 기본 브라우저에서 열린다.

8. 기능과 한계

2026년 중반 기준으로 컴퓨터 사용 에이전트는 다음 일을 할 수 있다.

• 웹사이트와 웹 애플리케이션 탐색: 검색, 양식 작성, 다단계 절차를 거치는 클릭 작업
• 데스크톱 운영체제에서 파일과 폴더 관리
• 생산성 소프트웨어 사용: 스프레드시트, 워드 프로세서, 이메일 클라이언트
• 여러 애플리케이션에 걸친 다단계 워크플로 수행
• 하드코딩된 선택자 대신 시각 단서를 바탕으로 추론해 낯선 인터페이스에 적응
• 긴 문서와 고해상도 스크린샷 같은 화면 내용 읽기와 이해(Opus 4.7은 3.75MP 이미지를 기본 지원)
• 로컬 파일, 웹 페이지, 여러 애플리케이션의 정보를 모아 보고서나 요약 작성
• 개발 환경과 상호작용하고 개발 도구를 실행하며 애플리케이션 테스트
• 백그라운드에서 최대 10개 병렬 작업 실행(Gemini Agent)
• 파일 시스템 기반 메모리와 드리밍(dreaming)이라 불리는 패턴을 통해 세션 간 자기 개선(Claude Managed Agents, 2026년 5월)²⁹

반면 몇 가지 한계가 계속 남아 있다.

• 속도: 컴퓨터 사용 에이전트는 API 기반 자동화보다 느리다. 각 단계는 스크린샷 캡처, 모델 추론, 동작 실행을 거치며 한 주기에 몇 초가 걸린다. 사람이 몇 분 만에 끝내는 작업도 에이전트에게는 훨씬 오래 걸릴 수 있다. Anthropic은 화면으로 작업하는 방식이 직접 연동보다 느리다고 인정했다.
• 정밀도: 작은 인터페이스 요소에 커서를 정확히 두지 못할 때가 있다. 드래그 앤 드롭, 슬라이더, 캔버스 요소, 맞춤 위젯 같은 복잡한 UI 구성 요소와의 상호작용은 여전히 어렵다. Opus 4.7의 1:1 좌표 매핑과 3.75MP 이미지 지원이 이 격차를 줄이지만 없애지는 못한다.
• 일시적 요소: 알림, 툴팁, 드롭다운 메뉴처럼 잠깐 나타나거나 정확한 타이밍이 필요한 요소는 스크린샷 사이에 놓칠 수 있다. 플립북 방식의 인식에서는 스크린샷 사이에 바뀐 내용이 모델에게 보이지 않는다.
• 스크롤과 탐색: 긴 문서나 웹 페이지에서 현재 위치를 잃거나, 목표를 지나쳐 스크롤하거나, 화면 밖 요소를 찾지 못할 때가 있다.
• 오류 복구: 동작이 실패하거나 예상과 다른 결과가 나와도 에이전트가 늘 잘 회복하지는 못한다. 같은 실패 동작을 되풀이하거나 점점 엇나간 경로를 택할 수 있다. 학습 중에는 자기 교정 행동이 관찰되었지만, 실제 운영에서는 일관되지 않다.
• 비용: 에이전트 루프의 각 단계는 스크린샷을 담은 LLM API 호출이 필요하며, 스크린샷은 토큰을 많이 쓴다. 수십에서 수백 단계짜리 복잡한 작업은 비싸질 수 있다. Opus 4.7에 고해상도 이미지를 보내면 저해상도 기본값인 Opus 4.6보다 토큰을 비례해 더 쓰므로, 추가 해상도가 필요 없을 때는 다운샘플링을 권장한다.
• 복잡한 작업의 신뢰성: Anthropic은 복잡한 작업에 두 번째 시도가 필요할 때가 있다고 밝혔다. 이 기술은 여전히 고위험 상황의 프로덕션 시스템이 아니라 리서치 프리뷰로 설명된다.

9. 요금

컴퓨터 사용 비용은 제공자와 작업의 복잡도에 따라 다르다.

Anthropic API 방식의 작업당 비용은 필요한 단계 수와 모델에 보내는 스크린샷 해상도에 따라 달라진다. 단계 10개짜리 간단한 작업은 몇 센트일 수 있고, 100단계가 넘는 복잡한 다중 애플리케이션 워크플로는 수 달러가 들 수 있다. Batch API는 비동기 처리에서 입력과 출력 토큰 모두에 50% 할인을 제공하며, 프롬프트 캐싱은 반복되는 문맥의 비용을 90% 줄인다.

Anthropic은 2026년 5월 14일 프로그래밍 방식의 컴퓨터 사용(Agent SDK, claude -p, GitHub Actions, OpenClaw 같은 서드파티 하네스 포함)을 2026년 6월 15일부터 구독 사용량 풀에서 분리해 월 200달러 상당의 별도 크레딧 풀로 옮긴다고 발표했다. 대화형 Claude Code, Cowork, 채팅 사용은 기존 구독 한도를 그대로 유지한다.³⁰

10. 활용 분야

컴퓨터 사용은 웹 자동화, 소프트웨어 테스트, 데이터 이전, 접근성, 지식 노동, IT 관리, 보안 연구에 쓰인다. 가장 흔한 활용은 다음과 같다.

가장 흔한 활용은 반복적인 웹 작업의 자동화다. 양식 작성, 다단계 절차 탐색, 웹사이트 정보 추출, 일상적인 온라인 거래 처리가 여기에 해당한다. 웹사이트가 API를 제공하지 않거나 여러 사이트를 오가야 할 때 특히 유용하다. Claude for Chrome, ChatGPT Atlas, Chrome Auto Browse 같은 브라우저 내장 에이전트는 사용자의 로그인된 브라우저 세션에서 직접 작동해 이 범주를 겨냥한다.

컴퓨터 사용 에이전트는 자동화된 테스터로 쓰일 수 있다. 애플리케이션 인터페이스를 탐색해 기능이 올바르게 작동하는지 확인한다. 사용자와 같은 방식으로 GUI와 상호작용하므로, 단위 테스트와 API 테스트가 놓치는 시각 버그와 사용성 문제를 잡을 수 있다. Replit이 Claude 컴퓨터 사용으로 빌드 과정 중의 앱을 평가한 것이 이 접근의 한 예다.

조직들은 통합이 없는 시스템, 특히 GUI 접근만 제공하는 레거시 시스템 사이에서 데이터를 옮기는 데 컴퓨터 사용 에이전트를 쓴다. 에이전트는 한 애플리케이션에서 데이터를 읽고, 다른 애플리케이션으로 이동해 입력하며, 사람이 손으로 하면 번거로운 작업을 처리한다.

컴퓨터 사용 기술은 접근성 분야에도 쓰일 가능성이 있다. 운동 장애가 있는 사용자가 정밀한 마우스와 키보드 조작 대신 자연어 명령으로 컴퓨터 인터페이스를 다루도록 돕는 것이다.

Mac 컴퓨터 사용이 적용된 Cowork에서 Claude는 경쟁사 분석을 작성하고, 여러 로컬 파일과 웹 자료에서 데이터를 모으고, 스프레드시트를 채우고, 보고서를 만들 수 있다. 사용자는 그동안 다른 일에 집중할 수 있다. Dispatch 기능은 사용자가 휴대폰에서 이런 작업을 맡기고 나중에 완성된 결과를 받게 해 이를 확장한다. Mistral Le Chat Work 모드, ChatGPT agent, Gemini Agent는 같은 지식 노동 영역을 서로 다른 방식으로 겨냥한다. 각각 커넥터 우선 연동, 클라우드 호스팅 가상 환경, Workspace 통합 에이전트다.

IT 팀은 일상적인 시스템 관리 작업에 컴퓨터 사용 에이전트를 시험하고 있다. 소프트웨어 구성, 진단 실행, 표준 운영 절차 수행이 대상이다.

Project Glasswing에 참여한 기관들은 제한 공개된 Claude Mythos Preview를 써서 핵심 소프트웨어의 취약점을 찾고 고쳤다. Anthropic은 출시 전 테스트에서 이 모델이 원격 공격자가 영향받는 기기를 충돌시킬 수 있는 27년 된 OpenBSD 버그를 찾았고, 17년 된 FreeBSD 원격 코드 실행 취약점을 자율적으로 찾아 악용했다고 밝혔다.^22,23

11. 현재 상황(2026년 중반)

2026년 5월 기준 컴퓨터 사용은 활발하게 발전하는 AI 개발 분야다. 이 분야는 약 19개월 만에 연구 프로토타입에서 소비자 제품으로 옮겨 왔다.

OSWorld-Verified 벤치마크에서는 H Company의 공개 가중치 모델 Holo3-35B-A3B가 82.6%로 1위다. 공개 가중치 모델이 리더보드 1위에 오른 첫 사례다. Claude Mythos Preview(79.6%)는 범용 모델 가운데 최고 점수지만 초청 전용으로 제한되어 있다. 일반 제공되는 프런티어 모델 중에서는 GPT-5.5(78.7%)와 Claude Opus 4.7(78.0%)이 1점 안쪽으로 붙어 있다. 두 모델 모두 사람 기준선 72.36%를 넘는다.^7,8

브라우저 특화 벤치마크인 WebVoyager에서는 여전히 OpenAI의 에이전트 모드가 약 87% 성공률로 앞선다. 더 어려운 Online-Mind2Web 벤치마크(고트래픽 라이브 웹사이트 136곳의 과제 300개)에서는 성공률이 훨씬 낮다. Operator는 사람 평가 기준 61.3%, 대부분의 다른 에이전트는 28~30%에 그친다. 이는 기존 벤치마크가 실제 신뢰성을 과대평가할 수 있다는 점을 보여 준다.

경쟁 구도는 더 치열해지고 있다. Anthropic, OpenAI, Google, Mistral과 H Company, Simular 같은 전문 스타트업이 모두 컴퓨터 사용 기능에 큰 투자를 하고 있다. 공개 가중치 모델은 이제 GUI 작업에서 폐쇄형 프런티어 모델과 경쟁할 만한 수준이 되었다. 이는 앞서 공개 가중치 코딩·추론 모델이 부상한 흐름과 닮았다. 새 모델 세대가 나올 때마다 컴퓨터 사용 성능이 눈에 띄게 개선되고 있다.

2026년 주요 흐름은 다음과 같다.

• 시각 향상: 3.75MP 이미지 지원과 1:1 좌표 매핑(Opus 4.7) 덕분에 스크린샷 기반 제어가 더 깔끔하고 정확해졌다.
• 공개 가중치 전문 모델: H Company의 Holo3는 수직 특화가 GUI 작업에서 훨씬 큰 범용 모델을 능가할 수 있음을 보여 준다.
• 브라우저 내장 에이전트: ChatGPT Atlas, Claude for Chrome, Chrome Auto Browse는 에이전트를 원격 샌드박스가 아니라 사용자의 브라우저 세션 안으로 옮긴다.
• 독립형 에이전트 제품의 통합: OpenAI는 2025년 8월 Operator를 중단했고, Google은 2026년 5월 Project Mariner를 종료했다. 두 회사 모두 현재는 ChatGPT와 Gemini 안의 에이전트 모드로 제공한다.
• 다중 작업 병렬화: Gemini Agent는 최대 10개의 동시 작업을 처리하고, Claude Code의 Agent View(2026년 5월 11일)는 병렬 세션을 관리하는 CLI 인터페이스를 제공한다.
• 모바일에서 데스크톱으로의 작업 위임: Claude Dispatch는 휴대폰에서 데스크톱 세션으로 작업을 맡길 수 있게 한다.
• 파일 시스템 메모리와 자기 개선: Claude Managed Agents는 2026년 4월 파일 시스템 기반 메모리를 추가했고, 2026년 5월에는 지난 세션을 검토해 패턴을 찾고 에이전트의 자기 개선을 돕는 드리밍 기능을 더했다.
• 프로그래밍 방식 과금 분리: Anthropic은 2026년 6월 15일부터 Agent SDK 사용량을 대화형 구독 한도와 분리해 별도 크레딧 풀로 옮긴다. 프로그래밍 방식의 에이전트 작업이 대화형 채팅과 얼마나 다른 부하를 만드는지 보여 준다.^{5,12,13,14,16,19,21,29,30}

이 기술은 아직 고위험 상황에서 감독 없이 쓰기에는 충분히 신뢰할 수 없다. 그러나 일상 작업의 감독형 자동화에는 이미 실용적이다. 현재 능력과 완전한 신뢰성 사이의 간극은 모델과 안전 도구가 발전하면서 계속 좁혀질 것으로 보인다.