virtual-insanity
← 리포트 목록

Hermes needs_evidence·failed 반려 라벨별 분류 (2026-10-09)

2026-10-09 hermes [hermes, needs_evidence, completion-evidence-gate, guardian, 운영]

반려 라벨별 분류

조회 시각: 2026-10-09 KST. 소스: /Users/ron/.hermes/data/ops_multiagent.db (sqlite3 -readonly / python mode=ro), bus_commands. 분류 기준: needs_evidence 건은 result_note의 "차단 사유:" 필드, failed 건은 "누락/차단:" 필드의 게이트 코드로 분류. 요약 본문에 적힌 단어(예: "llm_infra_failure는 0건")는 분류에 쓰지 않음(1건당 1라벨, 우선순위: execution_artifact_path_not_found > llm_infra_failure > missing_source > missing_execution(artifact) > verification_exit_code/command > missing_original_verification > 기타). exit_code 류(missing/invalid_verification_exit_code, verification_command_unverifiable, missing_verification_command)는 missing_verification_value로 묶음. missing_result_or_verification, completion_result_note_forces_rework, 코드 없는 일반 문구("결과 확인 보류")는 기타.

핵심 발견 (먼저 읽을 것)

  • 지시문 쿼리 그대로(>= 2026-10-08)는 4행(needs_evidence 2, failed 2)뿐이다. 지시문의 "needs_evidence 21건·failed 2건"과 맞는 범위는 >= 2026-09-25 (23행: needs_evidence 21, failed 2)이며, 동일 건수가 2026-09-09부터도 유지된다(그 이전 건 없음). 그래서 두 범위를 모두 표로 남긴다.
  • 최다 라벨(범위 B): 기타 11 / missing_verification_value 9 / llm_infra_failure 계열 2 / missing_execution_value 1 (합 23). '기타' 11건의 세부 코드는 missing_result_or_verification 6, 코드 없는 일반 문구 '결과 확인 보류' 3, completion_result_note_forces_rework+missing_result_or_verification 1, 검증 근거 없음 계열 1이다. 기타는 지정 라벨에 안 맞는 잔여 묶음이므로, 지정 라벨 중 최다인 missing_verification_value(9건)에서 대표 2건을 골랐다.
  • 저장된 result_note는 게이트가 재작성한 약 360~440자 문구라 원래 제출문 전체는 DB에 없다("원본 요약"도 중간 절단). 따라서 원인 판정은 게이트 코드 기준이다.

범위 A: 지시문 쿼리 그대로 (created_at >= 2026-10-08) (조회 4행)

agent missing_source missing_execution_value missing_verification_value missing_original_verification execution_artifact_path_not_found llm_infra_failure 계열 기타 합계
guardian 0 0 0 0 0 2 2 4
합계 0 0 0 0 0 2 2 4

건별 내역

CMD agent status 생성 분류 게이트 원문 코드
#41151 guardian needs_evidence 2026-10-08 05:10:30 기타 결과 확인 보류
#41228 guardian failed 2026-10-09 07:21:05 llm_infra_failure 계열 llm_infra_failure(429/timeout/empty), 확인 보류, 검증 근거가 없음, 근거 없음
#41230 guardian failed 2026-10-09 07:53:29 llm_infra_failure 계열 llm_infra_failure(429/timeout/empty), 확인 보류, 검증 근거가 없음, 근거 없음, verification_command_unverifiable
#41233 guardian needs_evidence 2026-10-09 08:24:27 기타 검증 근거 없음, 결과물과 검증 근거가 없음, 결과 확인 보류

범위 B: 확장 (created_at >= 2026-09-25) — 지시문의 'needs_evidence 21건·failed 2건'과 일치하는 범위 (조회 23행)

agent missing_source missing_execution_value missing_verification_value missing_original_verification execution_artifact_path_not_found llm_infra_failure 계열 기타 합계
analyst-macro 0 0 0 0 0 0 2 2
analyst-pm 0 0 0 0 0 0 4 4
cowork 0 0 1 0 0 0 1 2
guardian 0 1 7 0 0 2 4 14
ron 0 0 1 0 0 0 0 1
합계 0 1 9 0 0 2 11 23

건별 내역

CMD agent status 생성 분류 게이트 원문 코드
#40276 guardian needs_evidence 2026-09-28 13:07:27 missing_verification_value missing_verification_exit_code
#40297 ron needs_evidence 2026-09-28 16:46:39 missing_verification_value invalid_verification_exit_code
#40346 guardian needs_evidence 2026-09-29 03:03:55 missing_verification_value missing_verification_exit_code
#40408 analyst-macro needs_evidence 2026-09-29 15:35:53 기타 missing_result_or_verification
#40518 analyst-macro needs_evidence 2026-09-30 23:14:51 기타 missing_result_or_verification
#40633 guardian needs_evidence 2026-10-02 10:40:45 missing_verification_value missing_verification_exit_code
#40691 cowork needs_evidence 2026-10-03 04:58:44 missing_verification_value verification_command_unverifiable
#40825 guardian needs_evidence 2026-10-04 18:13:21 기타 결과 확인 보류
#40842 guardian needs_evidence 2026-10-04 23:18:38 missing_execution_value missing_execution_artifact, missing_verification_command, missing_verification_exit_code
#40854 guardian needs_evidence 2026-10-05 03:05:35 missing_verification_value missing_verification_exit_code
#40869 guardian needs_evidence 2026-10-05 06:01:12 missing_verification_value invalid_verification_exit_code
#40874 analyst-pm needs_evidence 2026-10-05 07:26:49 기타 missing_result_or_verification
#40902 guardian needs_evidence 2026-10-05 14:16:39 missing_verification_value missing_verification_exit_code
#40954 cowork needs_evidence 2026-10-06 03:32:49 기타 completion_result_note_forces_rework, missing_result_or_verification
#40960 analyst-pm needs_evidence 2026-10-06 04:49:42 기타 missing_result_or_verification
#40994 guardian needs_evidence 2026-10-06 12:30:29 missing_verification_value missing_verification_exit_code
#41035 analyst-pm needs_evidence 2026-10-06 23:11:19 기타 missing_result_or_verification
#41067 analyst-pm needs_evidence 2026-10-07 05:45:06 기타 missing_result_or_verification
#41101 guardian needs_evidence 2026-10-07 14:16:39 기타 결과 확인 보류
#41151 guardian needs_evidence 2026-10-08 05:10:30 기타 결과 확인 보류
#41228 guardian failed 2026-10-09 07:21:05 llm_infra_failure 계열 llm_infra_failure(429/timeout/empty), 확인 보류, 검증 근거가 없음, 근거 없음
#41230 guardian failed 2026-10-09 07:53:29 llm_infra_failure 계열 llm_infra_failure(429/timeout/empty), 확인 보류, 검증 근거가 없음, 근거 없음, verification_command_unverifiable
#41233 guardian needs_evidence 2026-10-09 08:24:27 기타 검증 근거 없음, 결과물과 검증 근거가 없음, 결과 확인 보류

지정 라벨 최다 missing_verification_value 대표 2건 원문과 원인 구분

#40276 (guardian, needs_evidence, 생성 2026-09-28 13:07:27) result_note 원문:

결론: 결과 확인 보류
근거: 결과물과 검증 근거가 없음. 차단 사유: missing_verification_exit_code. 보완 필요: 결과물 경로, 원문 확인, 검증 명령·결과. 원본 요약: 결론: 수행한 일과 현재 상태를 완료형 한 문장으로 적는다. 근거: /Users/ron/.hermes/workspace/scripts/agent_queue_worker.py, /Users/ron/.hermes/workspace/tests/test_agent_queue_worker_model_timeout.py, scripts/agent_queue_worker.py, tests/test_age
다음 행동: 위 보완 항목을 완료 보고에 명시하고 실제 결과와 검증 근거 확인 후 재처리.

#40994 (guardian, needs_evidence, 생성 2026-10-06 12:30:29) result_note 원문:

결론: 결과 확인 보류
근거: 결과물과 검증 근거가 없음. 차단 사유: missing_verification_exit_code. 보완 필요: 결과물 경로, 원문 확인, 검증 명령·결과. 원본 요약: 결론: #40990(과 직전 #40993)의 실패는 gateway·worker·모델 타임아웃·입력 부재가 아니라 완료... 근거: 조회 시각은 2026-10-06 12:31~12:34 KST다. `... 검증: - `grep -n "40990\|40993" /Users/ron/.hermes/logs/agent-queue-guardian.log`는 189873행과 189909행을 반환했다. 둘
다음 행동: 위 보완 항목을 완료 보고에 명시하고 실제 결과와 검증 근거 확인 후 재처리.

원인 구분: 4블록 양식 미준수(제출 규율) 쪽이다. 인프라 지연이 아니다. - 두 건 모두 차단 사유가 missing_verification_exit_code로, 검증 명령의 exit code 값이 완료 보고에 없어서 게이트가 막은 것이다. 429/timeout/empty 같은 LLM 인프라 신호는 차단 사유 필드에 없다. - 두 건 모두 guardian이 제출했다. #40276은 원본 요약의 결론이 양식 안내문 그대로("수행한 일과 현재 상태를 완료형 한 문장으로 적는다")여서 템플릿 문구를 채우지 않고 제출한 전형적 양식 미준수다. #40994는 grep 결과(189873행, 189909행)는 적었으나 보존된 앞부분에서 exit code 표기는 보이지 않는다(뒷부분은 절단되어 확인 불가). - 인프라 계열 라벨은 failed 2건(#41228, #41230)에서만 나왔고, 이 문구는 "llm_infra_failure(429/timeout/empty)"가 게이트 재시도 안내의 고정 목록으로 들어간 것이라 실제 429/timeout 발생 증거는 이 DB 컬럼만으로는 확인되지 않는다(미확인). - 한계: 원문 제출 전체가 DB에 없어 "exit code를 아예 안 썼는지, 쓴 형식이 정규식에 안 맞았는지"는 구분하지 못했다(미확인).