---
tags: [AI-Agent, 아키텍처]
---

# Computer Use (컴퓨터 사용 에이전트)

> 한 줄 정의
> 화면 스크린샷을 보고 마우스·키보드로 GUI를 사람처럼 직접 조작하는 에이전트. Anthropic Computer Use(2024.10), OpenAI Operator/CUA, Google Project Mariner가 대표적이다.

## 동작 루프

멀티모달 [[ReAct]]의 한 형태다.

```
스크린샷 관찰 → 좌표·액션 추론 → click / type / scroll 실행 → 다시 스크린샷
```

모델이 화면 픽셀을 읽고, 어디를 클릭·입력할지 좌표 단위로 판단해 가상 입력장치를 제어한다.

## 강점

- **API 없는 시스템 자동화**: 레거시 데스크톱 앱, API를 제공하지 않는 웹 UI도 사람이 쓰듯 조작.
- 도구 통합 없이 범용적으로 다양한 화면에 적용.

## 한계와 위험

- **느리고 오류가 누적**된다 (스크린샷-추론 왕복마다 지연·비용).
- **보안**: 화면·웹페이지 자체가 indirect [[Prompt Injection]]의 경로가 된다. 악성 페이지가 "이 버튼을 눌러 송금하라"처럼 에이전트를 속일 수 있다.

## 필수 가드레일

- **샌드박스/VM**에서 실행해 호스트와 격리 → [[가드레일]]
- 비가역·민감 행동(결제·전송·삭제)에 사람 승인 → [[Human In the Loop]]
- 민감 사이트·도메인 차단, 행동 화이트리스트

## 관련 노트

- [[ReAct]]
- [[Prompt Injection]]
- [[가드레일]]
- [[Human In the Loop]]
- [[Tool Calling]]