← 리포트 목록
Hermes 완료보고 반려 건 사유별·에이전트별 집계
2026-10-10
hermes
[hermes, bus_commands, needs_evidence, completion-gate, ops]
반려(needs_evidence/failed) 사유별·에이전트별 집계
조회 시각: 2026-10-10 01:24 KST / 대상: ops_multiagent.db bus_commands (id 40276~41304 범위)
실행: sqlite3 -readonly /Users/ron/.hermes/data/ops_multiagent.db "SELECT claimed_by,status,substr(result_note,1,100),COUNT(*) FROM bus_commands WHERE status IN ('needs_evidence','failed') GROUP BY 1,2,3 ORDER BY 4 DESC" → exit 0, 15개 그룹(출력 32줄, 앞 100자 안에 줄바꿈 포함), 합계 27건.
사유 코드는 같은 테이블 result_note 전문에서 차단 사유:/누락/차단: 뒤 토큰을 읽어 분류(한 건에 사유가 여러 개면 각각 집계).
에이전트·상태별 건수 (합계 27)
| 에이전트 | needs_evidence | failed |
|---|---|---|
| guardian | 14 | 3 |
| analyst-pm | 4 | 1 |
| analyst-macro | 2 | 0 |
| cowork | 2 | 0 |
| ron | 1 | 0 |
상위 3개 사유
| 순위 | 사유 코드 | 건수 | 에이전트 분포 |
|---|---|---|---|
| 1 | missing_verification_exit_code | 8 | guardian 8 |
| 2 | missing_result_or_verification | 7 | analyst-pm 4, analyst-macro 2, cowork 1 |
| 3 | invalid_verification_exit_code | 3 | guardian 2, ron 1 |
그 외
- 코드 없이 자유서술("검증 근거 없음/결과 확인 보류")만 남은 건: 5건 (guardian 5, 그중 failed 1)
- 코드 분류 불가(재시도 후 failed, 사유 문구만 있음): 2건 (analyst-pm 1, guardian 1)
- source_log_path_not_found 1(guardian failed), verification_command_unverifiable 1(cowork), missing_verification_command 1(guardian), missing_execution_artifact 1(guardian), completion_result_note_forces_rework 1(cowork)
- 요청에 예시로 든 missing_source, missing_execution_value, execution_artifact_path_not_found, llm_infra_failure 는 현재 needs_evidence/failed 행에 코드로 나타나지 않음(execution_artifact_path_not_found는 analyst-pm failed 1건의 원문 앞부분에서 잘려 보이나 분류 정규식에는 잡히지 않아 미분류로 둠).
원인 후보 (코드 수정 없음, 추정)
- guardian: 완료보고에
exit code <숫자>가 없거나 숫자 형식이 아님 → 8+2건. guardian 프롬프트의 4줄 형식은 있으나 검증 줄 끝에 exit code를 안 쓰는 응답이 반복되는 것으로 보임(미확인). - analyst-pm/analyst-macro: 결과물 경로와 검증 명령을 둘 다 빠뜨림 → 6건. 분석형 태스크가 4블록 형식 지침 없이 서술형으로 끝나는 것으로 보임(미확인).
- 재시도(failed) 건은 앞선 needs_evidence 반려가 누적된 결과로, 새 원인이 아니라 같은 사유의 반복.