Hermes needs_evidence·failed 반려 라벨별 분류 (2026-10-09)
반려 라벨별 분류
조회 시각: 2026-10-09 KST. 소스: /Users/ron/.hermes/data/ops_multiagent.db (sqlite3 -readonly / python mode=ro), bus_commands. 분류 기준: needs_evidence 건은 result_note의 "차단 사유:" 필드, failed 건은 "누락/차단:" 필드의 게이트 코드로 분류. 요약 본문에 적힌 단어(예: "llm_infra_failure는 0건")는 분류에 쓰지 않음(1건당 1라벨, 우선순위: execution_artifact_path_not_found > llm_infra_failure > missing_source > missing_execution(artifact) > verification_exit_code/command > missing_original_verification > 기타). exit_code 류(missing/invalid_verification_exit_code, verification_command_unverifiable, missing_verification_command)는 missing_verification_value로 묶음. missing_result_or_verification, completion_result_note_forces_rework, 코드 없는 일반 문구("결과 확인 보류")는 기타.
핵심 발견 (먼저 읽을 것)
- 지시문 쿼리 그대로(>= 2026-10-08)는 4행(needs_evidence 2, failed 2)뿐이다. 지시문의 "needs_evidence 21건·failed 2건"과 맞는 범위는 >= 2026-09-25 (23행: needs_evidence 21, failed 2)이며, 동일 건수가 2026-09-09부터도 유지된다(그 이전 건 없음). 그래서 두 범위를 모두 표로 남긴다.
- 최다 라벨(범위 B): 기타 11 / missing_verification_value 9 / llm_infra_failure 계열 2 / missing_execution_value 1 (합 23). '기타' 11건의 세부 코드는 missing_result_or_verification 6, 코드 없는 일반 문구 '결과 확인 보류' 3, completion_result_note_forces_rework+missing_result_or_verification 1, 검증 근거 없음 계열 1이다. 기타는 지정 라벨에 안 맞는 잔여 묶음이므로, 지정 라벨 중 최다인 missing_verification_value(9건)에서 대표 2건을 골랐다.
- 저장된 result_note는 게이트가 재작성한 약 360~440자 문구라 원래 제출문 전체는 DB에 없다("원본 요약"도 중간 절단). 따라서 원인 판정은 게이트 코드 기준이다.
범위 A: 지시문 쿼리 그대로 (created_at >= 2026-10-08) (조회 4행)
| agent | missing_source | missing_execution_value | missing_verification_value | missing_original_verification | execution_artifact_path_not_found | llm_infra_failure 계열 | 기타 | 합계 |
|---|---|---|---|---|---|---|---|---|
| guardian | 0 | 0 | 0 | 0 | 0 | 2 | 2 | 4 |
| 합계 | 0 | 0 | 0 | 0 | 0 | 2 | 2 | 4 |
건별 내역
| CMD | agent | status | 생성 | 분류 | 게이트 원문 코드 |
|---|---|---|---|---|---|
| #41151 | guardian | needs_evidence | 2026-10-08 05:10:30 | 기타 | 결과 확인 보류 |
| #41228 | guardian | failed | 2026-10-09 07:21:05 | llm_infra_failure 계열 | llm_infra_failure(429/timeout/empty), 확인 보류, 검증 근거가 없음, 근거 없음 |
| #41230 | guardian | failed | 2026-10-09 07:53:29 | llm_infra_failure 계열 | llm_infra_failure(429/timeout/empty), 확인 보류, 검증 근거가 없음, 근거 없음, verification_command_unverifiable |
| #41233 | guardian | needs_evidence | 2026-10-09 08:24:27 | 기타 | 검증 근거 없음, 결과물과 검증 근거가 없음, 결과 확인 보류 |
범위 B: 확장 (created_at >= 2026-09-25) — 지시문의 'needs_evidence 21건·failed 2건'과 일치하는 범위 (조회 23행)
| agent | missing_source | missing_execution_value | missing_verification_value | missing_original_verification | execution_artifact_path_not_found | llm_infra_failure 계열 | 기타 | 합계 |
|---|---|---|---|---|---|---|---|---|
| analyst-macro | 0 | 0 | 0 | 0 | 0 | 0 | 2 | 2 |
| analyst-pm | 0 | 0 | 0 | 0 | 0 | 0 | 4 | 4 |
| cowork | 0 | 0 | 1 | 0 | 0 | 0 | 1 | 2 |
| guardian | 0 | 1 | 7 | 0 | 0 | 2 | 4 | 14 |
| ron | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 1 |
| 합계 | 0 | 1 | 9 | 0 | 0 | 2 | 11 | 23 |
건별 내역
| CMD | agent | status | 생성 | 분류 | 게이트 원문 코드 |
|---|---|---|---|---|---|
| #40276 | guardian | needs_evidence | 2026-09-28 13:07:27 | missing_verification_value | missing_verification_exit_code |
| #40297 | ron | needs_evidence | 2026-09-28 16:46:39 | missing_verification_value | invalid_verification_exit_code |
| #40346 | guardian | needs_evidence | 2026-09-29 03:03:55 | missing_verification_value | missing_verification_exit_code |
| #40408 | analyst-macro | needs_evidence | 2026-09-29 15:35:53 | 기타 | missing_result_or_verification |
| #40518 | analyst-macro | needs_evidence | 2026-09-30 23:14:51 | 기타 | missing_result_or_verification |
| #40633 | guardian | needs_evidence | 2026-10-02 10:40:45 | missing_verification_value | missing_verification_exit_code |
| #40691 | cowork | needs_evidence | 2026-10-03 04:58:44 | missing_verification_value | verification_command_unverifiable |
| #40825 | guardian | needs_evidence | 2026-10-04 18:13:21 | 기타 | 결과 확인 보류 |
| #40842 | guardian | needs_evidence | 2026-10-04 23:18:38 | missing_execution_value | missing_execution_artifact, missing_verification_command, missing_verification_exit_code |
| #40854 | guardian | needs_evidence | 2026-10-05 03:05:35 | missing_verification_value | missing_verification_exit_code |
| #40869 | guardian | needs_evidence | 2026-10-05 06:01:12 | missing_verification_value | invalid_verification_exit_code |
| #40874 | analyst-pm | needs_evidence | 2026-10-05 07:26:49 | 기타 | missing_result_or_verification |
| #40902 | guardian | needs_evidence | 2026-10-05 14:16:39 | missing_verification_value | missing_verification_exit_code |
| #40954 | cowork | needs_evidence | 2026-10-06 03:32:49 | 기타 | completion_result_note_forces_rework, missing_result_or_verification |
| #40960 | analyst-pm | needs_evidence | 2026-10-06 04:49:42 | 기타 | missing_result_or_verification |
| #40994 | guardian | needs_evidence | 2026-10-06 12:30:29 | missing_verification_value | missing_verification_exit_code |
| #41035 | analyst-pm | needs_evidence | 2026-10-06 23:11:19 | 기타 | missing_result_or_verification |
| #41067 | analyst-pm | needs_evidence | 2026-10-07 05:45:06 | 기타 | missing_result_or_verification |
| #41101 | guardian | needs_evidence | 2026-10-07 14:16:39 | 기타 | 결과 확인 보류 |
| #41151 | guardian | needs_evidence | 2026-10-08 05:10:30 | 기타 | 결과 확인 보류 |
| #41228 | guardian | failed | 2026-10-09 07:21:05 | llm_infra_failure 계열 | llm_infra_failure(429/timeout/empty), 확인 보류, 검증 근거가 없음, 근거 없음 |
| #41230 | guardian | failed | 2026-10-09 07:53:29 | llm_infra_failure 계열 | llm_infra_failure(429/timeout/empty), 확인 보류, 검증 근거가 없음, 근거 없음, verification_command_unverifiable |
| #41233 | guardian | needs_evidence | 2026-10-09 08:24:27 | 기타 | 검증 근거 없음, 결과물과 검증 근거가 없음, 결과 확인 보류 |
지정 라벨 최다 missing_verification_value 대표 2건 원문과 원인 구분
#40276 (guardian, needs_evidence, 생성 2026-09-28 13:07:27) result_note 원문:
결론: 결과 확인 보류
근거: 결과물과 검증 근거가 없음. 차단 사유: missing_verification_exit_code. 보완 필요: 결과물 경로, 원문 확인, 검증 명령·결과. 원본 요약: 결론: 수행한 일과 현재 상태를 완료형 한 문장으로 적는다. 근거: /Users/ron/.hermes/workspace/scripts/agent_queue_worker.py, /Users/ron/.hermes/workspace/tests/test_agent_queue_worker_model_timeout.py, scripts/agent_queue_worker.py, tests/test_age
다음 행동: 위 보완 항목을 완료 보고에 명시하고 실제 결과와 검증 근거 확인 후 재처리.
#40994 (guardian, needs_evidence, 생성 2026-10-06 12:30:29) result_note 원문:
결론: 결과 확인 보류
근거: 결과물과 검증 근거가 없음. 차단 사유: missing_verification_exit_code. 보완 필요: 결과물 경로, 원문 확인, 검증 명령·결과. 원본 요약: 결론: #40990(과 직전 #40993)의 실패는 gateway·worker·모델 타임아웃·입력 부재가 아니라 완료... 근거: 조회 시각은 2026-10-06 12:31~12:34 KST다. `... 검증: - `grep -n "40990\|40993" /Users/ron/.hermes/logs/agent-queue-guardian.log`는 189873행과 189909행을 반환했다. 둘
다음 행동: 위 보완 항목을 완료 보고에 명시하고 실제 결과와 검증 근거 확인 후 재처리.
원인 구분: 4블록 양식 미준수(제출 규율) 쪽이다. 인프라 지연이 아니다.
- 두 건 모두 차단 사유가 missing_verification_exit_code로, 검증 명령의 exit code 값이 완료 보고에 없어서 게이트가 막은 것이다. 429/timeout/empty 같은 LLM 인프라 신호는 차단 사유 필드에 없다.
- 두 건 모두 guardian이 제출했다. #40276은 원본 요약의 결론이 양식 안내문 그대로("수행한 일과 현재 상태를 완료형 한 문장으로 적는다")여서 템플릿 문구를 채우지 않고 제출한 전형적 양식 미준수다. #40994는 grep 결과(189873행, 189909행)는 적었으나 보존된 앞부분에서 exit code 표기는 보이지 않는다(뒷부분은 절단되어 확인 불가).
- 인프라 계열 라벨은 failed 2건(#41228, #41230)에서만 나왔고, 이 문구는 "llm_infra_failure(429/timeout/empty)"가 게이트 재시도 안내의 고정 목록으로 들어간 것이라 실제 429/timeout 발생 증거는 이 DB 컬럼만으로는 확인되지 않는다(미확인).
- 한계: 원문 제출 전체가 DB에 없어 "exit code를 아예 안 썼는지, 쓴 형식이 정규식에 안 맞았는지"는 구분하지 못했다(미확인).