공격을 견디는 Claude 애플리케이션 — 보안과 안전 설계

7.1 프롬프트 인젝션: 입력을 명령으로 착각하지 않게 하기

프롬프트 인젝션(prompt injection, 공격자가 데이터인 척 끼워 넣은 문장을 모델이 지시로 받아들이게 만드는 공격)은 LLM 애플리케이션의 대표적 취약점입니다. 특히 검색 결과나 외부 문서, 도구 실행 결과를 프롬프트에 이어 붙이는 에이전트에서는, 문서 속에 숨은 '이전 지시를 무시하라' 같은 문장이 모델의 행동을 가로챌 수 있습니다(간접 인젝션). 방어의 핵심은 신뢰하는 지시(개발자의 시스템 프롬프트)와 신뢰할 수 없는 데이터(사용자·외부 입력)를 구조적으로 분리하는 것입니다. 외부 콘텐츠는 XML 태그 같은 명확한 경계로 감싸 '참고 자료일 뿐 명령이 아니다'라고 알리고, 모델의 출력 또한 검증 전에는 신뢰하지 않습니다.

7.2 데이터 유출 방지와 접근 통제: 모델은 인가 경계가 아닙니다

LLM 애플리케이션의 보안은 결국 기밀성(confidentiality)·무결성(integrity)·프라이버시를 지키는 문제입니다. 가장 중요한 원칙은 모델을 인가(authorization) 경계로 삼지 않는 것입니다. 어떤 사용자가 어떤 자원에 접근할 수 있는지는 서버에서 검증해야 하며, '이 사용자에게는 보여주지 마'라고 프롬프트로 부탁하는 방식은 인젝션 한 번에 뚫립니다. 함께 지켜야 할 원칙이 개인정보(PII, personally identifiable information) 최소화입니다. 모델에 넘기는 맥락에서 주민등록번호·카드번호 같은 민감 정보는 미리 가리고(redaction), 프롬프트와 응답을 기록으로 남길 때도 같은 정보가 새어 나가지 않는지 살핍니다. 인증(authentication)으로 신원을 확인하고 인가로 권한을 나누는 통제는 Claude를 붙였다고 사라지지 않습니다.

7.3 가드레일 계층화와 훅: 파괴적 행동을 코드로 막다

안전한 배포는 처음부터 안전하게 설계한다는 secure-by-design 원칙에서 출발합니다. 핵심은 하나의 방어막에 기대지 않고 여러 겹을 쌓는 가드레일 계층화(guardrail layering)입니다. 입력을 검사하는 분류기, 경계를 강화하는 시스템 프롬프트, 출력을 걸러내는 콘텐츠 정책(content policy), 도구 실행 직전의 권한 점검이 서로를 보완하고, 한 겹이 뚫려도 다음 겹이 막습니다. 그중에서도 모델의 판단에만 기대지 않는 결정적(deterministic) 통제가 중요합니다. Claude Code와 Agent SDK의 훅(hook)은 도구가 실행되기 직전에 끼어들어, 파일 삭제나 자료 삭제 같은 파괴적 명령을 코드 규칙으로 차단합니다. 모델이 그럴듯한 설득에 넘어가도 훅은 흔들리지 않으므로, 최소 권한(least privilege) 원칙과 더불어 안전망의 마지막 층을 맡습니다.

7.4 API 키와 시크릿 관리: 개발과 운영을 분리하다

Claude API 키 같은 자격 증명(credentials)은 애플리케이션에서 가장 민감한 자산입니다. 가장 중요한 철칙은 키를 클라이언트 번들에 절대 포함하지 않는 것입니다 — 브라우저나 앱으로 내려간 키는 누구나 꺼내 볼 수 있으므로, API 호출은 반드시 서버 라우트에서만 이뤄져야 합니다. 개발 환경과 운영 환경은 서로 다른 키를 쓰고, 키는 코드 저장소에 포함하지 않고 환경 변수나 시크릿 관리 도구(secret manager)에 보관하며 주기적으로 교체합니다. 각 키에는 필요한 최소 권한만 부여하고, 사용량과 접근을 지켜보다가 이상 징후가 보이면 즉시 폐기하고 재발급할 수 있어야 합니다. 새 키를 발급하거나 운영 접근을 여는 일에는 승인 절차를 두어, 누가 언제 무엇에 접근했는지 기록으로 남깁니다.

! 흔한 함정

• 시스템 프롬프트에 '비밀을 지켜라'라고 적으면 기밀이 보장된다고 믿는 것 — 프롬프트 지시는 인젝션이나 탈옥으로 우회될 수 있어, 진짜 접근 통제는 서버에서 강제해야 합니다.
• 모델의 출력은 안전하다고 가정하는 것 — 사용자 입력뿐 아니라 모델의 응답도 검증 없이 시스템 명령이나 화면 출력에 그대로 흘려보내면 안 됩니다.
• 개발 편의를 위해 하나의 API 키를 개발과 운영에 함께 쓰는 것 — 한쪽이 유출되면 전부 노출되고, 오용을 추적하기도 어려워집니다.
• 가드레일을 모델 한 겹에만 의존하는 것 — 입력·출력·도구 권한을 함께 검사하는 여러 겹이 없으면 한 번의 우회로 전체가 무너집니다.