virtual-insanity
← 리포트 목록

needs_evidence 71건·failed 4건 반려 사유별 분류와 에이전트별 분포

2026-10-24 hermes [hermes, guardian, needs_evidence, bus_commands, 반려분류]

needs_evidence 71건 · failed 4건 분류 (조회 2026-10-24 15:15 KST)

조회만 수행. 어떤 행도 수정·삭제하지 않음. DB: /Users/ron/.hermes/data/ops_multiagent.db (sqlite3 -readonly)

쿼리: select id,claimed_by,title,result_note,completed_at,updated_at from bus_commands where status in ('needs_evidence','failed') → 75행 (needs_evidence 71 + failed 4). 큐 전체: done 5, failed 4, needs_evidence 71, claimed 1(본 태스크 #42547).

1. 반려 사유 라벨별 건수 (needs_evidence 71, 행당 첫 번째 차단 라벨 기준, 합계 71)

라벨 건수
문구형 "결과 확인 보류"(차단 라벨 없음) 25
missing_verification_exit_code 14
missing_result_or_verification 13
invalid_verification_exit_code 10
verification_command_unverifiable 3
missing_execution_artifact 3
execution_artifact_path_not_found 3
합계 71

참고: 한 행에 라벨이 여러 개인 경우(missing_execution_artifact+missing_verification_command+missing_verification_exit_code 등 5건)는 첫 라벨로만 셌다. 지시문에 예시로 든 missing_execution_value / missing_source / missing_verification_value / missing_original_verification / llm_infra_failure 라벨의 차단 사유 필드 출현은 0건이다(현재 게이트 라벨 체계가 바뀌었음). "llm_infra" 문자열은 19건의 본문(원본 요약)에서 "0건이다" 식으로 언급될 뿐 실제 차단 사유로 쓰인 건은 없다.

2. 에이전트별 분포

에이전트 건수 라벨 내역
guardian 52 문구형 "결과 확인 보류"(차단 라벨 없음) 22, missing_verification_exit_code 14, invalid_verification_exit_code 6, execution_artifact_path_not_found 3, missing_result_or_verification 3, missing_execution_artifact 2, verification_command_unverifiable 2
cowork 9 invalid_verification_exit_code 3, 문구형 "결과 확인 보류"(차단 라벨 없음) 3, verification_command_unverifiable 1, missing_result_or_verification 1, missing_execution_artifact 1
analyst-macro 5 missing_result_or_verification 5
analyst-pm 4 missing_result_or_verification 4
ron 1 invalid_verification_exit_code 1
합계 71

3. 최근 24시간 신규

기준 2026-10-23 15:15 ~ 10-24 15:15 KST, updated_at 기준 needs_evidence 신규 2건: #42454(guardian, 2026-10-23 16:03:47), #42503(cowork, 2026-10-24 04:44:31). failed는 4건 전부 24시간 안(10-24 13:18~14:16)에 발생.

4. failed 4건 개별 원인 (모두 guardian, 10-24 13:18~14:16 발생)

  • 42538 (10-24 13:18) 주간 크레딧 크론 사전점검 게이트 재확인: 산출물 경로를 /Users/ron/.hermes/workspace/scripts/research-sales-engine/weekly_credit_thread_gate.py 로 적었으나 실제 파일은 /Users/ron/.hermes/scripts/research-sales-engine/weekly_credit_thread_gate.py 에 있음(워크스페이스 경로에는 없음 확인). 사유 execution_artifact_path_not_found + verification_command_unverifiable → 경로 오기입.

  • 42539 (10-24 13:20) needs_evidence 71건 원인별 분류 집계: 결과물 경로·검증 명령/결과 부재(verification_command_unverifiable) → 4블록 증거 미비.

  • 42543 (10-24 14:13) 일요일 주간 크레딧 크론 사전점검 등록 상태 확인: 존재하지 않는 경로 2곳(위 workspace 경로의 게이트 스크립트, /Users/ron/.hermes/workspace/jobs.json — 실제 크론 장부는 /Users/ron/.hermes/cron/jobs.json) 인용 → execution_artifact_path_not_found, 경로 오기입.

  • 42544 (10-24 14:16) needs_evidence 71건·failed 4건 사유별 분류: 결과물 경로 없음, 검증 명령 재현 불가, missing_execution_artifact → 4블록 증거 미비(같은 유형 집계를 파일 저장 없이 보고).

  • 참고: 지시문이 언급한 #42127(orchestrator 관련 codex 태스크)은 현재 DB에 행이 없다(bus_commands id 범위 40276~42547, 81행만 존재, id=42127 조회 0행). 그 분석은 #42332 본문에 남아 있다. 요지는 "#42127은 증거 게이트 반려(빈 근거/실행 전 선언문 완료 보고)이며 인프라·코드 오류가 아님"이나, 원행이 없어 직접 대조는 못 했다(미확인).

5. 반복 상위 3개 패턴과 원인 구분

제목이 정확히 같은 행은 없고(상위 제목도 2건), "같은 유형 + 같은 사유"로 묶었다. 71건 중 55건(guardian 46, cowork 9)은 제목 자체가 "needs_evidence N건 반려 분류·집계"류 메타 태스크이고 16건만 일반 업무다.

  1. 패턴 A — guardian의 needs_evidence 집계 태스크 + 문구형 보류(차단 라벨 없음) 22건 (#40825, 41101, 41151, 41233, 41316, 41387, 41435, 41485, 41494, 41504, 41627, 41628, 41902, 41911, 41992, 42165, 42167, 42171, 42219, 42256, 42310, 42412). 차단 사유가 "결과 확인 보류/검증 근거 없음" 문구뿐. 본문은 "인프라 지연(llm_infra_failure) 0건, 전부 4블록 미비"라고 스스로 분류하고 있다. 구분: 4블록 미준수(검증 명령·exit code·산출물 경로를 못 박지 않음) — 인프라 아님.
  2. 패턴 B — guardian의 집계 태스크 + missing_verification_exit_code 14건 (#40276, 40346, 40633, 40854, 40902, 40994, 41274, 41498, 41640, 41897, 42264, 42293, 42307, 42332; 이 중 9건이 집계 메타 태스크). 검증 줄에 "exit code 0" 숫자가 없음. 구분: 4블록 미준수. 단 태스크 지시문에 verification 형식 예시가 모호한 경우 지시문 문제가 겹침(이번 건처럼 지시문에 exit code 0을 명시하면 해소되는 유형).
  3. 패턴 C — analyst-macro 5 + analyst-pm 4, 미국 IG·HY OAS 파일 기반 판독 9건 (missing_result_or_verification: #40408, 40518, 40874, 40960, 41035, 41067, 41769, 41780, 41900). 결과 수치는 결론에 담았으나 근거 줄이 비었거나 잘려(예: #40408 "근거:" 뒤 공백) 게이트가 결과물·검증 부재로 판정. 직접 확인: 9건 모두 태스크 본문(body)에 "4블록" 요구와 라벨 양식이 이미 들어 있다(sqlite3 body like '%4블록%' → 9건 전부 일치). 구분: 지시문 문제가 아니라 4블록 미준수(에이전트가 근거·검증 줄을 채우지 못함). 이 9건은 24시간 안 신규가 아니라 9/29~10/17 누적분이다.
  4. 차순위 — invalid_verification_exit_code 10건(guardian 6, cowork 3, ron 1), execution_artifact_path_not_found 3건(전부 guardian, 존재하지 않는 경로 인용).

인프라 지연: llm_infra_failure가 차단 사유로 확인된 건은 현재 71건 중 0건. 따라서 인프라 지연은 지배적 원인이 아니다(24시간·누적 모두). 과거 보고에서 언급된 #42306은 현재 DB에 행이 없다(미확인).

6. 판단과 다음 행동

  • 판단: 71건 전부 증거 게이트(4블록 미비·검증값 부재) 반려이며, 가장 큰 덩어리는 guardian이 "반려 분류"를 반복 집계하는 메타 태스크 자체가 다시 반려되는 순환(55건, 77%)이다. 52건이 guardian(73%).
  • 즉시 조치 가능: 해리 확인 불필요한 조회성 정리는 없음. 반려 행 삭제·상태 변경은 해리 확인 필요(이번엔 미수행).
  • 다음행동: ops_todos 후보 — ① 집계 메타 태스크 중복 생성 차단(같은 제목 유형은 신규 발행 대신 기존 리포트 재사용), ② analyst 계열은 본문에 4블록이 이미 있으므로 지시문 보강이 아니라 근거·검증 줄 공란 제출을 막는 제출 전 점검 필요, ③ 크론 사전점검 태스크에 실제 경로(/Users/ron/.hermes/scripts/research-sales-engine/weekly_credit_thread_gate.py, /Users/ron/.hermes/cron/jobs.json) 명시.

검증

  • 라벨별 건수 합계 = 71 (needs_evidence 71과 일치), 에이전트별 합계 = 71. 집계 스크립트 /tmp/ne2_agg.py, /tmp/ne2_b.py, /tmp/ne2_c.py, /tmp/ne2_d.py exit code 0.