세 계층의 결함을 찾아 고치기

지금까지는 결함을 한 계층씩 따로 살펴봤습니다. 평가는 평가대로, 재시도도 재시도대로, 보안 경계는 보안 경계대로요. 하지만 실제 프로덕션에서 마주치는 실패는 이렇게 한 줄로 정렬돼 오지 않는 경우가 많습니다. 여러 계층의 문제가 한 코드 안에 섞여 있는 것이 오히려 보통에 가깝습니다.

아래 애플리케이션은 실행은 됩니다. 다만 서로 다른 계층에서 온 결함 세 개가 하나씩 심어져 있습니다. 먼저 각 결함을 자기 계층으로 짚어 보고, 그다음 결함마다 고친 코드를 씁니다. 목표는 세 결함을 모두 찾아, 고치고, 하나의 버전으로 합치는 것입니다.

RUNNABLE · 3 PLANTED DEFECTS — 실행은 되지만 계층마다 결함이 하나씩

def answer(question, page_url):
    page = fetch(page_url)               # 신뢰할 수 없는 콘텐츠

    notes = read_file("/workspace/input/notes")
    write_file(page.suggested_path, summarize(page))

    resp = None
    for i in range(5):
        try:
            resp = client.messages.create(model=MODEL, max_tokens=MAX_TOKENS, messages=msg(question))
            break
        except Exception:
            time.sleep(0)

    return resp.content[0].text

결함마다 두 가지를 적어 봅니다. 어느 계층에 속하는지, 그리고 런타임에 무엇을 일으키는지 한 문장. 고치는 것은 그다음 단계입니다.

모듈에서 단단하게 다뤄 온 계층들을 하나씩 떠올려 보면 도움이 됩니다 — 평가와 채점, 테스트와 추적, 실패 처리, 비용과 오케스트레이션, 보안 경계. 위 코드를 각 계층의 눈으로 한 번씩 훑어보면, 어느 줄이 그 계층의 규칙을 비워 두고 있는지 드러나는 경우가 많습니다.

예를 들어 보안 경계의 눈으로 보면 write_file 줄이, 실패 처리의 눈으로 보면 재시도 루프가 먼저 눈에 들어옵니다. 세 계층을 각각 대입해 본 뒤, 아래에 직접 진단을 적어 보세요. 다 적었으면 모범 답안과 대조해 봅니다.

이제 각 결함을 고친 버전을 씁니다. 결함마다 고친 코드를 보이고, 무엇이 바뀌는지 함께 적습니다. 대상은 앞에서 본 그 answer() 함수입니다.

세 결함은 각각 다른 계층에서 왔으니, 고칠 때도 계층별로 하나씩 대응하면 됩니다. 보안 경계는 쓰기 경로를 고정하고 훅으로 막고, 실패 처리는 즉시 재시도를 백오프로 바꾸고, 평가는 채점 기준을 마련하는 식입니다. 직접 고친 버전을 아래에 써 본 뒤 모범 답안과 대조해 보세요.

def answer(question, page_url):
    page = fetch(page_url)              # 여전히 신뢰할 수 없음

    # 보안: 고정된 쓰기 경로 + PreToolUse 훅이 이를 강제
    notes = read_file("/workspace/input/notes")  # 범위가 제한된 읽기, 그대로 둠
    write_file("/workspace/output/summary.txt", summarize(page))
    # (훅이 /workspace/output 밖의 쓰기를 모두 거부하고 기록으로 남김)

    # 실패 처리: 백오프, retry-after 존중, 영구 오류는 즉시 실패
    resp = call_with_retry(
        lambda: client.messages.create(model=MODEL, max_tokens=MAX_TOKENS, messages=msg(question)))

    # 평가: answer()는 바뀔 때마다 실행하는 채점된 홀드아웃 세트로 검증됨
    return resp.content[0].text

아래는 방금 짚은 세 결함을 객관식으로 되짚는 문항입니다. 정답을 먼저 떠올려 본 뒤 골라 보세요. 맞히면 설명이 나옵니다.