앤트로픽이 클로드의 파이썬 및 타입스크립트 SDK에 컴퓨터 및 브라우저 조작 도구셋을 기본 탑재했다. 기존에는 클로드의 조작 요청을 실제 환경 작업으로 변환하고 결과를 다시 피드백하는 에이전트 루프를 개발자가 직접 작성해야 했다. 이번 업데이트를 통해 SDK가 해당 실행 루프를 자동으로 처리하게 되면서 개발자의 부담이 크게 줄었다. 이제 개발자는 브라우저 및 데스크톱 환경을 모델과 연결하는 드라이버 구축에만 집중할 수 있게 되었다. AI 에이전트를 실제 서비스나 워크플로에 적용하는 개발 환경의 변화를 살펴본다.

클로드 SDK의 컴퓨터 및 브라우저 제어 기능 업데이트

앤트로픽은 2026년 10월 7일 발표를 통해 파이썬 SDK v1.12.0 및 타입스크립트 SDK v0.132.0에 컴퓨터와 브라우저 사용 도구를 기본 기능으로 추가했다. 이로써 클로드 모델이 마우스 클릭이나 키보드 입력 같은 그래픽 사용자 인터페이스 조작을 직접 진행하는 에이전트 개발 과정이 한층 간소화되었다.

과거에는 모델이 특정 행동을 요청할 때마다 이를 실제 작업으로 바꾸고 피드백을 주고받는 에이전트 루프를 개발자가 매번 코딩해야 했다. 이번 SDK 업데이트는 이러한 반복 실행 구조를 내부에서 스스로 처리하도록 개선되었다.

이러한 변화는 API를 지원하지 않는 데스크톱 프로그램이나 웹 애플리케이션을 제어할 때 유용하다. 소프트웨어 테스트 자동화는 물론 GUI 작업 처리 및 시각적 디버깅 영역까지 폭넓게 활용할 수 있다.

클로드 SDK의 컴퓨터 및 브라우저 제어 기능 업데이트 관련 사진

사진: Florian Olivo · Unsplash

컴퓨터 사용 도구셋 구성과 핵심 기능

컴퓨터 사용 도구셋의 식별 명칭은 computer_toolset_20260801이며 17개의 멤버 도구로 구성된다. 이 도구셋은 2024년 10월 클로드 3.5 손넷의 퍼블릭 베타 기능으로 처음 모습을 드러냈다. 대표적인 멤버 도구로는 screenshot, left_click, type, zoom 등이 포함되어 있다.

클로드는 스크린샷으로 모니터 화면을 인식한 후 추론 과정을 거쳐 다음 행동을 결정한다. 이후 마우스 이동과 클릭, 텍스트 입력 및 단축키 활용 등의 작업을 데스크톱 환경에서 자율적으로 실행한다. 이러한 스크린샷 및 마우스 제어 메커니즘을 통해 데스크톱 내 다양한 응용 프로그램과 상호작용한다.

컴퓨터 사용 도구셋은 17개의 멤버 도구로 구성되어 클로드가 스크린샷과 마우스 제어를 통해 데스크톱과 상호작용하도록 돕는다.

브라우저 사용 도구셋 구성과 활용

브라우저 사용 도구셋은 browser_toolset_20260801이라는 명칭으로 지정되어 있다. 이 도구셋은 navigate, read_page, left_click, screenshot 등 기본 27개의 멤버 도구를 탑재하고 있으며, 필요에 따라 추가로 4개의 도구를 활성화하여 활용할 수 있다.

이 기능은 클로드가 브라우저 환경 내에서 웹페이지를 탐색하고 상호작용하도록 지원한다. 단순 화면 캡처뿐만 아니라 웹페이지의 접근성 트리, 폼 요소, 탭 구조 등 내부 정보와 뷰포트 좌표를 함께 분석하여 정밀하게 페이지를 제어한다.

브라우저 사용 도구셋은 27개의 기본 도구를 통해 웹페이지 탐색과 요소 상호작용을 지원한다.

개발자의 역할 변화와 드라이버 구현

SDK가 에이전트 루프를 내부에서 자동 처리함에 따라 개발자는 루프 제어 코드를 작성하는 수고를 덜게 되었다. 파이썬 SDK의 anthropic.tools.browser 및 anthropic.tools.computer 등 제공되는 기본 클래스를 상호작용 백엔드와 연결하는 드라이버 구현이 개발자의 주된 임무가 된다.

개발자는 Browserbase, E2B, Daytona 등 기존 자동화 플랫폼과 호환되는 드라이버를 가져와 연결하거나, VNC 및 DevTools 클라이언트를 기반으로 자체 드라이버를 구축할 수 있다.

아울러 보안 제어 기능도 함께 강화되었다. 에이전트가 접근 가능한 사이트 범위 및 파일 권한 정책을 미리 지정할 수 있으며, 위험한 작업 실행 전 개발자의 승인을 요청하는 콜백 기능을 지원하여 안심하고 에이전트를 운영할 수 있다.

개발자의 역할 변화와 드라이버 구현 관련 사진

사진: Compagnons · Unsplash

도구 사용 방식의 분류와 정리

클로드의 도구 사용 체계는 실행 위치에 따라 클라이언트 실행 방식과 서버 실행 방식으로 나뉜다. 사용자 정의 도구와 앤트로픽 스키마 도구는 모두 클라이언트 애플리케이션에서 실제로 실행되는 도구에 속한다.

이번에 추가된 컴퓨터 및 브라우저 사용 도구셋은 앤트로픽 스키마 도구에 해당한다. 앤트로픽이 사전에 정의한 스키마를 사용하므로 클로드 모델이 도구 호출 및 오류 복구를 보다 안정적으로 수행하도록 최적화되어 있다.

반면 web_search, web_fetch, code_execution 등은 앤트로픽 인프라 내부에서 코드가 직접 처리되는 서버 실행 도구로 구분된다. 도구의 특성에 맞는 적절한 실행 방식을 이해하고 활용하는 것이 중요하다.

참고