virtual-insanity
← 리포트 목록

needs_evidence·failed 반려 사유 라벨별 집계와 에이전트별 편중 분석

2026-10-17 hermes [hermes, needs_evidence, 반려분석, guardian, 운영]

needs_evidence 49건·failed 6건 반려 사유 집계 (조회 2026-10-17 14:19:54 KST)

조회 대상: /Users/ron/.hermes/data/ops_multiagent.db bus_commands, status IN ('needs_evidence','failed'), sqlite3 -readonly. 작업 지시 시점의 failed는 5건이었으나 조회 시점에 #41916(analyst-macro)이 추가돼 6건. 전체 55건(needs_evidence 49 + failed 6), 최근 7일(2026-10-10 14:19:54 이후) 29건. 가장 오래된 needs_evidence는 2026-09-28이라 7일 밖 26건 포함. 분류 기준: result_note 중 "원본 요약:" 앞의 게이트 반려 문구만 판정 (원본 요약 안에 인용된 "llm_infra_failure 0건" 같은 분석 문구는 반려 사유가 아님).

1. 결론

  • 인프라 지연이 실제 사유인 건은 전체 1건 (2%), 7일 1건 — #41905(cowork) 하나뿐. 나머지는 모두 4블록 미준수(증거 부족).
  • guardian 쏠림: 전체 35/55건 (64%), 7일 19/29건.
  • 최근 반려 #41912·#41913은 새 유형: failed 전환 + verification_command_unverifiable(검증 명령을 재현할 수 없음).

2. 최근 7일 — 에이전트 × 분류

에이전트 A 라벨명시 D 일반템플릿 C 검증재현불가 B 인프라지연 합계 인프라 비율
analyst-macro 3 2 1 0 6 0%
cowork 0 3 0 1 4 25%
guardian 8 9 2 0 19 0%
합계 11 14 3 1 29 3%

3. 전체(49+6) — 에이전트 × 분류

에이전트 A 라벨명시 D 일반템플릿 C 검증재현불가 B 인프라지연 합계 인프라 비율
analyst-macro 5 2 1 0 8 0%
analyst-pm 4 0 0 0 4 0%
cowork 2 3 1 1 7 14%
guardian 19 14 2 0 35 0%
ron 1 0 0 0 1 0%
합계 31 19 4 1 55 2%

분류 설명: A=4블록 미준수: 라벨 명시(missing_, invalid_, artifact_not_found) / D=4블록 미준수: 일반 템플릿("결과물과 검증 근거가 없음", 세부 라벨 없음) / C=4블록 미준수: 검증명령 재현불가(verification_command_unverifiable) / B=인프라 지연(llm_infra_failure*, 타임아웃, 요청과다/재시도대기)

4. 라벨별 집계 (게이트 문구 기준)

최근 7일

라벨 건수 에이전트별
missing_verification_exit_code 4 guardian 4
missing_result_or_verification 4 analyst-macro 3, guardian 1
invalid_verification_exit_code 3 guardian 3
verification_command_unverifiable 3 guardian 2, analyst-macro 1
missing_execution_artifact 1 guardian 1
missing_verification_command 1 guardian 1
llm_infra_failure_retry_deferred 1 cowork 1

전체

라벨 건수 에이전트별
missing_verification_exit_code 13 guardian 13
missing_result_or_verification 11 analyst-macro 5, analyst-pm 4, cowork 1, guardian 1
invalid_verification_exit_code 7 guardian 5, ron 1, cowork 1
verification_command_unverifiable 4 guardian 2, cowork 1, analyst-macro 1
missing_verification_command 3 guardian 3
missing_execution_artifact 2 guardian 2
execution_artifact_path_not_found 1 guardian 1
llm_infra_failure_retry_deferred 1 cowork 1

요청 라벨 중 missing_source·missing_execution_value·missing_verification_value·missing_original_verification은 게이트 문구에 0건. execution_artifact_path_not_found는 전체 1건. 실제로 많이 나온 라벨은 missing_verification_exit_code, missing_result_or_verification, invalid_verification_exit_code.

5. 개별 확인

번호 에이전트 상태 갱신 라벨 분류
#41905 cowork failed 2026-10-17 12:32:34 llm_infra_failure_retry_deferred B
#41912 analyst-macro failed 2026-10-17 13:31:21 verification_command_unverifiable C
#41913 guardian failed 2026-10-17 13:47:09 verification_command_unverifiable C
  • 41905 cowork: llm_infra_failure_retry_deferred. 후보 모델 전체 응답 타임아웃으로 실행 자체 실패, 즉시 재시도 금지. 인프라 지연(4블록 문제 아님).

  • 41912 analyst-macro: verification_command_unverifiable. 미국 IG·HY OAS 정리 태스크, 재현 가능한 검증 명령 없음. 4블록 미준수.

  • 41913 guardian: 확인 보류, 검증 근거 없음, 근거 없음, verification_command_unverifiable. 4블록 미준수.

6. 해석

  • 반려 원인은 모델 지연이 아니라 완료 보고에 검증 명령·종료코드(exit code)·결과물 경로가 빠지는 문제. 특히 guardian이 압도적.
  • 반복 패턴: 같은 "needs_evidence 집계" 태스크가 guardian/cowork에서 계속 재발행되고(#41377, #41494, #41627, #41782, #41902, #41911, #41913) 모두 증거 보강 부족으로 다시 반려됨.
  • analyst-macro는 US IG·HY OAS 태스크(#41909, #41912, #41916)에서 연속 failed. 해리 관심 분야(크레딧)와 겹쳐 우선 확인 대상.
  • 이 문서는 조회·분석만 했고 코드·DB·크론은 수정하지 않음.