프롬프트 평가

Stephen Grider · Anthropic 기술 스태프

Claude에 접근하는 법을 익혔으니, 이제 초점을 옮겨 두 가지 새 주제를 봅니다 — 프롬프트 엔지니어링과 프롬프트 평가입니다. 둘 다 Claude에게서 최선의 출력을 끌어내는 프롬프트를 쓰기 위한 것입니다. 프롬프트 엔지니어링은 프롬프트를 쓰거나 고칠 때마다 쓰는 기법 모음으로, Claude가 요청을 이해하고 원하는 방식으로 답하도록 돕습니다. 프롬프트 평가는 다릅니다 — 프롬프트를 자동으로 테스트해, 그 프롬프트가 효과적인지 알려 주는 객관적 지표를 얻는 것입니다.

이 섹션은 주로 프롬프트 평가에 집중합니다. 프롬프트의 효과를 측정하는 법을 익힌 뒤, 프롬프트 엔지니어링 기법을 살펴봅니다.

먼저 프롬프트 평가가 전체 프롬프트 작성 과정의 어디에 들어가는지 봅시다. 프롬프트를 처음 쓰고 나면 보통 세 갈래 길이 있습니다. 옵션 1은, 만든 프롬프트를 한두 번 테스트해 보고 "production에 써도 충분하다"고 판단하는 것입니다. 옵션 2는, 직접 만든 입력으로 몇 번 테스트하고, 눈에 띈 모서리 케이스 한두 개를 손보는 것입니다.

분명히 해두면, 옵션 1과 2는 거의 모든 엔지니어가 — 저 자신을 포함해 — 빠지는 함정입니다. 진지한 애플리케이션에 쓸 프롬프트를 쓰면서도 충분히 테스트하지 않는 거죠.

그래서 프롬프트를 쓸 때는 옵션 3를 강력히 권합니다. 프롬프트를 평가 파이프라인에 통과시켜 객관적 점수를 얻고, 그 점수를 보며 프롬프트를 반복해서 개선하는 것입니다. 그러면 프롬프트가 최대한 잘 동작하도록 다듬을 수 있습니다.