예시 제공하기

Stephen Grider · Anthropic 기술 스태프

이번 프롬프트 엔지니어링 기법은 정말 기대됩니다. 아마 여러분이 찾을 수 있는 가장 효과적인 기법 중 하나일 테니까요. 바로 프롬프트 안에 예시를 제공하는 아이디어입니다. 예시를 하나만 주는지 여럿 주는지에 따라 흔히 one-shot 또는 multi-shot 프롬프팅이라고 부릅니다.

예시를 보면 가장 이해하기 쉬우니 바로 보겠습니다. 오른쪽 프롬프트에서 저는 Claude에게 트윗의 감성을 분류하라고 합니다. 감성이란 이 글이 긍정적(행복한)인지 부정적(불행한)인지를 말합니다. 여기 입력 트윗은 “정말, 그래, ‘Plan 9 from Outer Space’ 이후로 본 최고의 영화였어”입니다.

혹시 모르실까 봐 말씀드리면, ‘Plan 9 from Outer Space’는 악명 높은 졸작 영화입니다. 그러니 누군가 이렇게 트윗했다면 사실 빈정대는 것이고, 방금 본 영화를 전혀 좋아하지 않았을 가능성이 큽니다. 그래서 이 트윗은 부정으로 분류하고 싶습니다. 그런데 Claude는 이를 분류하는 데 어려움을 겪을 수 있습니다.

이 문제를 푸는 한 방법이 multi-shot 프롬프팅입니다. 왼쪽의 시작 프롬프트에 예시를 몇 개 더해 줍니다. 예시를 더할 땐, 이제 예시 입력과 이상적인 출력을 줄 거라고 Claude에게 아주 직접적으로 알려 줍니다. 그리고 이 입력·출력을 거의 항상 XML 태그로 감싸, 입력·출력 쌍의 목적을 더 분명히 합니다.

예를 들어 “great game tonight”이라는 샘플 입력을 주는데, 이건 분명히 긍정적입니다. 그 바로 뒤에 “Positive”라는 이상적인 출력을 둡니다. 이렇게 하면 Claude에게 어떤 입력을 어떻게 다뤄야 하는지 구체적이고 객관적인 예가 생깁니다. 이제 Claude는 앞으로 이런 입력을 다시 보면 “Positive”로 분류하면 되겠다고 압니다.

multi-shot 프롬프팅은 여러 예시를 줘서 코너 케이스를 다룰 때 씁니다. 빈정대는 트윗이야말로 Claude에게 강조하고 싶은 코너 케이스죠. 코너 케이스 예시를 더할 땐 맥락도 함께 주고, 특정 상황을 특히 주의하라고 일러 줍니다. 가령 “빈정거림이 섞인 트윗을 특히 조심하라”고 한 뒤 곧바로 예를 듭니다.

그 예시 입력은 “오 그래, 오늘 밤 비행기 연착되면 딱 좋겠다, 아주 좋아”입니다. 빈정거림을 모른다면 긍정처럼 보이겠지만, 우리는 이게 빈정거림이고 사실은 부정임을 압니다. Claude도 이 예시를 보면 위쪽의 원래 입력을 채점할 때 “아, 이것도 빈정거림이구나, 부정이겠네” 하고 알아챌 가능성이 높아집니다.

multi-shot은 코너 케이스나 명료성뿐 아니라, Claude가 복잡한 출력 형식을 이해하도록 돕는 데도 좋습니다. 복잡한 JSON 객체를 생성해야 한다면, 샘플 입력과 예시 출력을 줘서 그 복잡한 JSON 구조를 보여 주면 됩니다. 그러면 원하는 출력 구조를 훨씬 잘 맞춥니다.

예시 제공은 지금 우리처럼 프롬프트 평가를 할 때 특히 효과적입니다. 우리 프레임워크로 평가를 돌리면 같은 폴더에 HTML 파일이 생깁니다. 이 파일을 훑어 완벽한 10점(없으면 가장 높은 점수)인 케이스를 찾습니다. 스크롤하다 보면 10점짜리가 보입니다. 이건 채점 모델이 “거의 최선”이라고 평가한 입력·출력입니다. 이걸 프롬프트 안의 예시로 제공하면, Claude가 이런 출력을 더 자주 내도록 유도할 수 있습니다.

해 봅시다. 이 입력을 복사해 프롬프트로 돌아가, Guidelines 아래로 스크롤합니다. 그리고 “이제 샘플 입력과 이상적인 출력을 담은 예시를 주겠다”고 Claude에게 명시합니다. 샘플 입력을 <sample_input> 태그 안에 넣고, 리포트에서 복사한 출력을 <ideal_output> 태그 안에 붙여 넣은 뒤 들여쓰기를 다듬습니다.

재평가 전에 마지막으로 한 가지 더 — 완전히 선택 사항이지만 저는 큰 효과를 봤습니다. 이 출력이 왜 이상적인지를 Claude에게 설명해 주는 것이죠. 리포트의 마지막 열에는 채점기가 왜 이게 좋은 응답이라고 봤는지가 적혀 있습니다. 그 설명의 앞부분을 복사해 닫는 </ideal_output> 태그 아래에 붙이고, 문장을 살짝 다듬어 “이 예시 식단은 잘 구조화되어 있고…”처럼 만듭니다. 이제 Claude는 왜 이게 이상적인 출력인지 더 잘 이해합니다 — 잘 구조화되고, 음식·분량의 세부가 있으며, 무엇보다 선수의 목표·제한에 맞아야 한다는 점을요.

이제 셀을 다시 실행하고 평가를 돌립니다. 올라갈까요 내려갈까요 — 7.96으로 살짝 올랐습니다. 정리하자면, 이 기법은 흔히 one-shot(예시 하나) 또는 multi-shot(예시 여럿) 프롬프팅이라 불립니다. Claude가 코너 케이스를 처리하게 하거나, 특히 복잡한 출력 형식을 맞추게 하고 싶을 때 아주 자주 쓰게 됩니다.