토큰 — 입력·출력·비용의 단위

Claude는 글자나 단어를 직접 읽지 않습니다. 텍스트를 토큰이라는 단위로 잘라 읽고, 응답을 만들 때도 같은 단위를 씁니다.

토큰 하나가 글자 몇 자에 해당하는지는 고정되어 있지 않습니다. 평균 환산치는 지금 쓰는 모델의 토크나이저에 따라 다르고, 모델 세대가 바뀌면 이 값도 함께 달라집니다. 그래서 "글자 몇 자당 토큰 하나" 같은 경험칙이 있더라도 모델에 따라 달라지는 참고값으로 보고, 실제 기능을 만드는 시점에는 현재 모델의 토크나이저가 어떻게 동작하는지 확인하는 것부터 시작합니다.

모델이 처리하는 것은 전부 토큰으로 계산됩니다. 이번에 보낸 요청만 세는 것이 아닙니다.

• 프롬프트 — 이번 요청에 담아 보낸 내용
• 대화 기록 — 앞서 주고받은 메시지 전체
• 도구 정의 — 모델이 쓸 수 있게 등록해 둔 도구 설명
• 도구 결과 — 도구를 실행하고 돌려받은 결과
• 응답 — 모델이 생성하는 답변 자체

토큰은 과금의 단위이면서 예산의 단위이기도 합니다. 어떤 기능에 비용이 얼마나 들지 어림할 때도, 입력이 컨텍스트 윈도 안에 들어가는지 볼 때도, 실제로 세는 것은 단어가 아니라 토큰입니다. API가 청구하는 단위도, 컨텍스트 윈도를 재는 단위도 토큰이기 때문에, 처음부터 토큰 단위로 생각하는 습관을 들여 두면 좋습니다.

정답을 먼저 떠올려 본 뒤 골라 보세요. 맞히면 설명이 나옵니다.