전형적인 평가 워크플로

Stephen Grider · Anthropic 기술 스태프

이 영상에서는 전형적인 프롬프트 평가 워크플로의 모든 단계를 따라가 봅니다. 먼저 두 가지를 짚어 두죠. 첫째, 워크플로를 짜는 방법은 아주 다양합니다. 업계 표준으로 정해진 단 하나의 방법론은 없습니다. 둘째, 직접 워크플로를 구현하도록 도와주는 오픈소스 패키지와 유료 옵션이 많습니다.

이 영상과 모듈에서는 Jupyter 노트북 안에서 우리만의 커스텀 워크플로를 처음부터 구현해 봅니다. 이렇게 하는 이유는 워크플로가 어떻게 동작하는지 이해를 돕기 위함이기도 하고, 프롬프트 평가를 하려고 꼭 무거운 솔루션을 들일 필요는 없다는 걸 보여 주기 위함이기도 합니다. 작게 시작해 감을 잡고, 거기서 확장하면 됩니다.

1단계, 초기 프롬프트 초안을 씁니다. 개선하고 싶은 어떤 프롬프트를 쓰는 거죠. 이 예시에서는 아주 단순하게 "사용자의 질문에 답하라"라고 하고, 사용자 입력(어떤 질문)을 끼워 넣습니다.

2단계, 평가 데이터셋을 만듭니다. 프롬프트에 넣어 볼 수 있는 입력들의 묶음이죠. 우리 프롬프트의 입력은 "사용자 질문" 하나뿐이니, 데이터셋은 넣어 볼 만한 질문들의 목록이 됩니다. 제 데이터셋엔 질문 세 개만 넣겠습니다. 실제 평가에서는 수십, 수백, 수천 개의 레코드가 들어가기도 합니다. 데이터셋은 손으로 만들 수도 있고, Claude로 생성할 수도 있습니다.

데이터셋이 준비되면, 각 질문을 프롬프트에 채워 완성된 프롬프트를 만들고 Claude에 보냅니다. 예를 들어 "사용자의 질문에 답하라 — 2 더하기 2는?"처럼요. 나머지 레코드도 똑같이 반복합니다. 각각을 Claude에 보내 실제 응답을 받습니다. 첫 번째는 "2 더하기 2는 4", 그다음은 오트밀 만드는 법, 그다음은 달까지 거리 같은 응답이 오겠죠.

Claude의 응답이 모이면, 이제 채점합니다. 데이터셋의 질문과 Claude의 응답을 짝지어 grader에 하나씩 넣습니다. grader를 구현하는 방법은 여러 가지이고, 뒤에서 자세히 봅니다. grader는 응답 품질에 따라 1~10점 같은 점수를 줍니다. 10이면 더 개선할 여지가 없는 완벽한 답, 4 정도면 개선 여지가 분명히 있다는 뜻이죠.

점수를 얻으면 전부 평균냅니다. 이 경우 세 점수를 더해 3으로 나누면 평균 7.66 같은 값이 나옵니다. 이제 원래 프롬프트가 얼마나 잘 동작했는지 객관적으로 표현할 수치가 생긴 겁니다.

이 점수가 있으면, 프롬프트를 어떤 식으로 바꾼 뒤 전체 과정을 반복할 수 있습니다. 점수를 올리고 싶으면 프롬프트에 디테일을 더해 보죠 — 예를 들어 끝에 "충분히 자세히 답하라"를 붙입니다. 두 번째 버전으로 파이프라인을 다시 돌리면 v1과 v2의 점수가 생기고, 더 높은 쪽이 — 완벽하진 않아도 — 더 나은 버전이라는 객관적 신호가 됩니다.

이렇게 전체 과정을 큰 그림으로 봤으니, 다음 영상부터 Jupyter 노트북 안에서 우리만의 커스텀 평가 프레임워크를 직접 구현해 보겠습니다.