환경 점검

Stephen Grider · Anthropic 기술 스태프

에이전트에 관해 다음으로 다룰 개념은 환경 점검(environment inspection)입니다. 앞서 컴퓨터 사용을 살펴볼 때 흥미로운 점을 눈치챘을 수도 있습니다. 왼쪽에 기록된 모든 행동 — 타이핑이나 마우스 이동 — 바로 뒤에 항상 스크린샷이 따라붙었습니다. Claude가 텍스트를 입력하려 시도하면 그게 첫 패널에 기록되고, 곧바로 스크린샷이 나타났습니다.

컴퓨터 사용을 Claude의 관점에서 보세요. Claude가 어딘가를 타이핑하거나 클릭하면 페이지가 바뀔 텐데, Claude는 그게 어떻게 바뀌었는지 모릅니다. 버튼을 클릭하면 새 페이지로 이동할 수도, 메뉴가 열릴 수도 있습니다. 자신이 한 행동의 결과를 이해하려면 Claude에게는 지금 어떤 상태·환경에 있는지 알려 줄 스크린샷이 필요했습니다.

이 생각은 우리가 조립하는 어떤 에이전트에도 똑같이 적용됩니다. 행동을 한 뒤, 때로는 행동을 하기 전에, Claude는 행동의 결과를 평가할 방법이 필요합니다 — 그것도 도구가 그냥 돌려주는 값을 넘어서요. Claude가 자신의 환경을 이해하도록 도우면, 작업 완료까지 얼마나 왔는지 더 잘 가늠하고, 예상 못한 결과나 에러에도 더 잘 대처합니다.

Claude Code에서도 아주 비슷한 생각을 볼 수 있습니다. 이 스크린샷 맨 위에서 저는 Claude에게 main.py 파일을 수정해 달라고 했습니다. 라우트를 하나 추가하는 아주 단순한 작업이지만, 그 파일을 어떤 식으로든 고치기 전에 — 너무 당연해 보이겠지만 — Claude는 먼저 그 파일 안의 현재 코드가 무엇인지 이해해야 합니다. 그래서 Claude에게는 파일 내용을 읽을 방법이 필요합니다.

정말 당연해 보이지만, 직접 에이전트를 만들 때면 언제나 쓰기 전에 읽기라는 이 생각을 떠올려 보길 권합니다. 이 생각은 SNS 영상 에이전트에도 적용됩니다. Claude에 요청을 보낼 때 “파이썬에 대한 영상을 만들어 내 SNS 계정에 올려줘” 같은 작업을 도구 목록과 함께 줍니다. 그리고 시스템 프롬프트에 특별 지시를 넣어, 영상을 만든 뒤 환경을 어떻게 점검할지 Claude가 이해하도록 돕습니다.

개인적으로 저는 Claude가 FFmpeg로 영상을 만들 때 대사 배치에서 가끔 실수할 수 있다고 봅니다. 구체적으로는 TTS로 생성한 오디오 클립이 재생되는 위치에서요. 작업 진행 상황을 더 잘 이해하도록, 저는 bash 도구로 Whisper CPP라는 프로그램을 돌리라고 지시할 수 있습니다. 이건 영상에서 자막 파일을 자동으로 만들어 주는 프로그램입니다. 자막 파일에는 타임스탬프가 들어 있어, Claude는 이걸로 대사가 제대로 배치됐는지 확인할 수 있습니다.

또한 bash 도구로 FFmpeg를 돌리라고 권할 수도 있습니다. FFmpeg는 영상에서 스크린샷을 추출하는 기능이 있습니다. 저는 Claude에게 매 1초마다, 혹은 매 10초마다 스크린샷을 뽑아 그것들을 살펴보고, 영상이 기대한 대로 보이는지 확인하라고 시킬 수 있습니다. 이렇게 하면 Claude가 자신이 한 행동의 결과 — 실제로 만들어진 영상 — 를 점검하고, 작업을 제대로 끝내고 있는지 확인할 수 있습니다.