Zettelkasten

하네스의 최소 조건은 완료를 에이전트의 자기 보고가 아니라 실행 결과로 판정하는 것이다

·수정 2회

요약

  • 작업마다 (동작 설명, 검증 명령, 현재 상태)를 두고, 상태를 완료로 바꾸는 판단은 검증 명령의 실행 결과에 맡긴다. 8강의 삼중 구조와 9강의 "완료 판단 외부화"를 합친 것이다.
  • 에이전트 자기 판단으로 안 되는 이유: 9강은 에이전트가 자기 작업을 체계적으로 과대평가한다고 본다. 단위 테스트 통과도 의존성을 mock하기 때문에 컴포넌트 사이 문제를 못 잡는다.
  • 다른 에이전트가 코드를 읽고 판정하는 것으로 모자란 이유: 작업자와 검사자는 나뉘지만 판정 근거가 여전히 실행 결과가 아니라 모델의 의견이다.
  • 필요조건이지만 충분조건은 아니다. 2강이 꼽는 실패 원인 다섯 가지 중 검증 명령이 막는 것은 "검증 피드백 부재" 하나다.

본문

최소 조건으로 보는 근거

"최소 조건"은 강의 표현이 아니라 아래 세 강의를 합친 해석이다.

  • 8강: 각 기능 항목은 (동작 설명, 검증 명령, 현재 상태) 삼중 구조이고 "어느 한 요소가 빠지면 항목이 불완전합니다." 기능이 active에서 passing으로 가는 "유일한 방법은 검증 명령이 성공적으로 실행되는 것"이다. 스케줄러, 검증기, 핸드오프 보고기, 진행 추적기가 모두 이 목록을 읽는다.
  • 9강: "완료 판단은 에이전트 자신이 내려서는 안 됩니다. 하네스는 런타임 신호를 입력으로 사용하여 독립적으로 종료 유효성 검사를 실행해야 하며, 에이전트의 신뢰도를 사용해서는 안 됩니다."
  • 2강: 피드백이 "투자 대비 효과가 가장 높은 하위 시스템"이고 "검증 명령어를 먼저 맞추십시오."

이 조건이 없으면 결과가 맞았더라도 맞았는지를 에이전트의 자기 보고로만 안다. 2강 연습 문제의 용어로는 평가의 간극(Gulf of Evaluation, 맞는지를 모름)이 열린 채 남는다. 강의 첫 페이지는 하네스를 "닫힌 루프(closed loop) 작업 시스템"이라고 부르는데, 반복을 언제 멈출지 기계가 정할 수 있는 것도 검증 명령이 있을 때다.

에이전트 자기 판단으로 대신할 수 없는 이유

  • 9강은 Guo et al.(ICML 2017)을 들어 신경망이 보고하는 신뢰도가 실제 정확도보다 높다고 하고, 에이전트에게 자기 작업을 평가시키면 사람이 보기에 기준 미달인 결과에도 긍정적으로 평가한다는 Anthropic 관찰을 인용한다.
  • 단위 테스트 통과도 완료 증거로는 약하다. 9강 예시: 렌더 프로세스는 상대 경로를 넘기고 preload 스크립트는 절대 경로를 기대하는 불일치, 마이그레이션 뒤 ORM 캐시에 남은 옛 스키마, 실제 환경에만 없는 설정. 각 단위 테스트는 의존성을 mock해서 모두 통과했다.

다른 에이전트의 코드 리뷰로 대신할 수 없는 이유

  • 9강의 해결책은 "작업자"와 "검사자"를 분리하는 것이고, 검사자는 에이전트여도 된다. 차이는 검사자의 입력이다. 9강이 요구하는 입력은 런타임 신호다: 앱이 준비 상태에 도달했는가, 핵심 경로가 실행됐는가, DB 쓰기 같은 부작용이 맞는가, 임시 자원이 정리됐는가.
  • 9강이 인용한 Anthropic 실험(같은 Opus 4.5, 같은 프롬프트 "2D 레트로 게임 에디터 구축"): 단일 에이전트는 20분·9달러에 핵심 기능이 동작하지 않았고, planner·generator·evaluator 구성은 6시간·200달러에 동작했다. 이 평가기는 Playwright로 실제 클릭 테스트를 했다.
  • 강의 캡션대로 두 구성은 시간과 비용 예산이 달라 구성 요소 하나만 바꾼 실험이 아니다. 효과가 검사자 분리에서 왔는지, 실행 기반 평가에서 왔는지, 예산에서 왔는지는 이 실험만으로 가를 수 없다.

검증 명령이 갖출 단계 (9강)

단계 확인하는 것 9강 설명
1 문법, 정적 분석 비용이 가장 낮은 "최소한의 확인"
2 테스트 실행, 앱 시작, 핵심 경로 "완료의 핵심 증거"
3 엔드투엔드, 통합, 사용자 시나리오 조기 선언에 대한 "최후의 방어선"

앞 단계가 실패하면 다음 단계로 가지 않는다. 실패 메시지에는 "테스트 실패" 대신 무엇을 어디서 고칠지 넣는다. 9강 예: "POST /api/reset-password가 500을 반환했습니다. 환경 변수에 이메일 서비스 설정이 있는지 확인하십시오."

충분조건이 아닌 이유

  • 2강은 "하네스 = 지시 + 도구 + 환경 + 상태 + 피드백"이고 "모두 필수"라고 쓴다. 다만 하나가 빠지면 "요리는 할 수 있지만 항상 불편합니다"라고 해서, 빠지면 작업이 불가능해진다고까지 하지는 않는다.
  • 2강이 꼽는 실패 원인은 불명확한 작업 의도, 부족한 컨텍스트, 재현 불가능한 환경, 검증 피드백 부재, 끊긴 상태 관리 다섯 가지다. 나머지 넷이 비면 검증 명령이 있어도 이렇게 된다.
    • 환경이 재현되지 않으면 검증이 실패해도 코드 탓인지 환경 탓인지 가를 수 없다.
    • 상태 파일이 없으면 새 세션이 어떤 항목이 passing인지 다시 추론한다. 8강 교육용 예시(가정)에서는 상태 추론에 20분이 들고 끝난 기능을 다시 구현했다.
    • 검증이 느리면 반복 횟수가 줄어든다. jest 한 번에 470초 걸린 사례는 아래 형제 노트에 있다.
  • 2강 교육용 예시(가정 수치): 지시 파일만 둔 단계 60%, 검증 명령 추가 80%, 진행 파일 추가 80~100%. 이 예시에서도 검증 명령 없이 성공률이 올랐고, 검증 명령만으로는 끝까지 가지 않았다.

작업 지시에 옮기면

워크플로우나 서브에이전트에 "완료 조건과 검증 방법을 쓰고 다른 에이전트가 평가하라"고 시키면 8강 삼중 구조의 앞 두 칸과 9강의 작업자·검사자 분리를 맞춘 것이다. 남는 것은 검증 방법 칸에 저장소에서 돌릴 수 있는 명령(테스트, dev 서버 호출, 데이터 조회 쿼리)이 들어갔느냐다. "코드를 읽고 문제없음을 확인"이 들어가면 판정은 여전히 모델의 의견이다.

관련 노트

참고