CPN 한국어 자습서 · 러닝패스 2 / 4 — Building with the Claude API
프롬프트 평가 · 섹션 마무리
Quiz on prompt evaluation
〈프롬프트 평가〉 섹션을 마무리하는 6문항 퀴즈입니다. 평가가 필요한 이유부터 워크플로·데이터셋·채점(모델·코드)까지, 상황 문제로 점검합니다. 풀고 나면 정답·해설과 함께 어느 레슨에서 다뤘는지 복습 링크를 드립니다.
이 퀴즈에서 점검할 것What this checks
6문항평가-우선 — 한 번 테스트하고 배포하는 함정
데이터셋 생성에 빠른 모델(Haiku)
응답 다음 단계 = grader 통과
실제 성능 측정 = 프롬프트 평가
모델 채점은 강점·약점·근거까지 요구
또 다른 AI로 채점 = model grader
한 문항씩 풀어 보세요. 보기를 고르면 다음 문제가 열립니다. 6문항을 마치면 점수와 함께 각 문항의 정답·해설, 복습 링크가 나옵니다.
6문항 중 5개(약 83%) 이상이면 통과입니다. 틀린 곳은 해설과 복습 링크로 바로 다시 짚으세요.
〈프롬프트 평가〉에서 만든 평가 파이프라인을 한 장에 모았습니다. 카드를 누르면 해당 레슨으로 이동합니다.
프롬프트 평가
Prompt evaluation작성 후 3경로 — 대충 테스트는 함정, 평가-우선이 정답.
ch15평가 워크플로
A typical eval workflow초안 → 데이터셋 → Claude → 채점 → 평균.
ch16테스트 데이터셋 생성
Generating test datasetsClaude(Haiku)로 생성 — prefill + stop + json.loads.
평가 실행
Running the evalrun_prompt·run_test_case·run_eval 뼈대.
모델 기반 채점
Model based grading또 다른 모델로 채점 — 강점·약점·근거까지 요구.
ch19코드 기반 채점
Code based grading파싱으로 문법 검증 — 성공 10, 에러 0. 결정적.
ch20평가 실습
Exercise on prompt evalsgrader에 solution_criteria를 줘 채점을 개선.
여기까지가 〈프롬프트 평가〉 섹션입니다. 다음은 새 주제 — Claude가 요청을 더 잘 이해하도록 프롬프트를 잘 쓰는 기법입니다. → 프롬프트 엔지니어링
전 코스는 계속 무료입니다. 등록하면 이 코스의 남은 76개 레슨을 끝까지 읽을 수 있습니다.
이미 등록하셨다면 그때 쓰신 이메일을 넣어 주세요.