needs_evidence 71건 누적 해소 정책안 (재제출 vs 종결 기준)
needs_evidence 71건 해소 정책안 (조회 2026-10-25 08:41~08:55 KST, sqlite3 -readonly, DB 변경 없음)
1. [권고]
- 1순위: 아래 기준 3개로 71건을 "근거 보강 후 done" 후보와 "종결 후보"로 나눈다. 1차 추정은 보강 13건(18%) / 종결 58건(82%)이다. 이 추정은 result_note 안의 경로 실존 여부만 본 기계적 분류이고 건별 원문 확인은 하지 않았다. 종결 처리(상태 변경)는 해리 확인 필요.
- 2순위: guardian 의 "needs_evidence 건수 분류" 태스크가 스스로 다시 반려되는 자기참조 루프(58건, 81%)를 끊기 위해, 건수 분류 태스크는 새로 발행하지 않고 하나의 고정 보고서(07:34 분류표)로 대체한다. 기대효과: 신규 적체 증가분 0건/일(최근 3일 증가 약 +3건/일).
판정 기준 (3개)
- 기준 1 — 산출물 실존 여부: result_note 또는 body 에 적힌 워크스페이스 경로 중 지금 실제로 존재하는 파일이 있고 그 파일에 결과가 담겨 있으면 "증거 보강 후 done" 후보(재제출). 파일이 없거나 경로 자체가 없으면 종결 후보. 1차 기계 집계: 실존 13건 / 없음 58건.
- 기준 2 — 후속 대체 여부: 같은 주제의 더 최신 건이 이미 존재하거나, 건수·시점 스냅샷이라 값이 이미 낡았으면 종결 후보. 대표 사례: "needs_evidence N건 분류" 58건은 N이 그때 시점 값이고(8건→70건), 07:34 분류표(CMD#42611, 71건)와 261025_claude_needs_evidence_breakdown.md 가 같은 내용을 최신 값으로 담고 있다. 미국 IG/HY OAS 분석 계열(analyst-macro 5, analyst-pm 4)은 최신 기준일 건(#41900, 10/17)만 보강하고 나머지 8건은 종결 후보.
- 기준 3 — 원 태스크의 현재 유효성: 원 태스크가 지금도 필요하고 결과를 다시 만들 수 있으면(재현 가능) 종결이 아니라 재실행 또는 재제출. 해당: #40297 ETF 데이터 예열(9/28 건이라 값은 무의미하나 크론 자체는 유효, 새 실행 결과가 있으면 그것으로 대체), #41323 주간 크레딧 크론 사전점검(W43 스레드 등록 확인은 지금도 유효, 기준일 갱신 필요). 해리 확인 필요.
2. [현황] (조회 2026-10-25, 71행 확인)
에이전트별 / 최고령 created_at: | claimed_by | 건수 | 최고령 created_at (CMD) | |---|---|---| | guardian | 52 | 2026-09-28 13:07:27 (#40276) | | cowork | 9 | 2026-10-03 04:58:44 (#40691) | | analyst-macro | 5 | 2026-09-29 15:35:53 (#40408) | | analyst-pm | 4 | 2026-10-05 07:26:49 (#40874) | | ron | 1 | 2026-09-28 16:46:39 (#40297) | | 합계 | 71 | 전체 최고령 2026-09-28 13:07:27, 27일 경과 |
연령: 7일 이내 26건 / 8~14일 20건 / 14일 초과 25건.
반려 라벨별(한 건에 여러 라벨 가능, 합계는 71 초과) / 최고령: | 라벨 | 건수 | 최고령 created_at (CMD) | |---|---|---| | 결과 확인 보류 | 28 | 2026-10-04 18:13:21 (#40825) | | missing_verification_exit_code | 20 | 2026-09-28 13:07:27 (#40276) | | 검증 근거 없음 | 15 | 2026-10-09 08:24:27 (#41233) | | missing_result_or_verification | 13 | 2026-09-29 15:35:53 (#40408) | | 결과물과 검증 근거가 없음 | 12 | 2026-10-09 08:24:27 (#41233) | | invalid_verification_exit_code | 10 | 2026-09-28 16:46:39 (#40297) | | missing_verification_command | 6 | 2026-10-04 23:18:38 (#40842) | | completion_result_note_forces_rework | 4 | 2026-10-06 03:32:49 (#40954) | | verification_command_unverifiable | 3 | 2026-10-03 04:58:44 (#40691) | | missing_execution_artifact | 3 | 2026-10-04 23:18:38 (#40842) | | execution_artifact_path_not_found | 3 | 2026-10-10 05:57:29 (#41323) | - 과제문에 예시로 든 missing_source_log_path, missing_source 계열은 이번 71건에 0건이다.
guardian 07:34 분류표(CMD#42611, /Users/ron/.hermes/workspace/memory/2026-10-25_rejection_classification.md)와의 대조: - 에이전트별 52/9/5/4/1 완전 일치(분류표는 failed 4건이 더해져 guardian 56). - 라벨 일치: execution_artifact_path_not_found 3, missing_execution 계열 3, missing_result_or_verification 13, 일반 문구 25 (분류표는 한 건당 우선순위 1그룹, 이번 집계는 중복 허용이라 일반 문구 28/15 등은 다르게 보임). - 분류표 한계: 건별 ID 표가 없어 "보강 vs 종결"을 나누지 못한다. 이 문서가 그 빈칸을 채운다. - 분류표 §4 "같은 제목 반복 37건" 군집은 유사도 0.6 기준이라 과대일 수 있다(제목 문자열 기준 자기참조 건은 이번 집계에서 58건). 서로 다른 기준이라 단순 비교 금지.
유형별(제목 기준 기계 분류 + 경로 실존): | 유형 | 건수 | 산출물 실존 | 산출물 없음 | |---|---|---|---| | 반려·실패 분류/방지안(자기참조) | 58 | 10 | 48 | | 미국 IG/HY 분석·ETF 예열 등 결과물형 + 운영점검 | 13 | 3 | 10 | | 합계 | 71 | 13 | 58 |
3. [리스크]
- 종결은 되돌리기 어려운 상태 변경이라 오분류 시 정보 소실. 58건 종결 후보는 경로 실존 여부만으로 뽑았으므로 건별 원문 확인 전까지 확정 금지(미확인).
- 근거 보강 재제출을 계속하면 같은 4블록 미비로 재반려될 위험: 최근 다수 건이 "검증 줄에 exit code 리터럴 없음"으로 반려(missing/invalid_verification_exit_code 30건). 보강 시 검증 줄에 명령과
exit code 0을 반드시 넣어야 한다. - 분석 11건의 수치(IG OAS 84bp 등)는 9/29~10/17 기준이라 지금 쓰면 낡았다. 보강 done 처리 시 기준일을 표시하지 않으면 낡은 판단이 완료 이력으로 남는다.
- 단일 장애점: guardian 이 52건(73%)의 소유자라 같은 유형 태스크가 계속 발행되면 적체가 재생성된다.
4. [검증방법]
- 측정 지표: needs_evidence 건수 71 → 보강 후 done 13건 이하 + 종결 승인 건수, 잔여 0 또는 해리 승인 목록 외 0.
- 검증 명령: sqlite3 -readonly /Users/ron/.hermes/data/ops_multiagent.db "SELECT claimed_by,count(*) FROM bus_commands WHERE status='needs_evidence' GROUP BY 1" → 합계가 처리 후 기대값과 일치.
- 기대값: 처리 후 합계 = 71 − (done 전환 + 해리 승인 종결). 신규 유입이 일 +1건 이하.
- 롤백 조건: 종결 처리 후 해당 CMD 의 산출물이 필요했던 것으로 확인되면 종결 취소하고 원 상태로 복원(종결 전 id 목록 백업 필수). 해리 확인 필요: 모든 종결·재큐잉·상태 변경.