260919 evidence gate recurrence note

작성시각: 2026-09-19 15:41 KST 작성자: cowork 범위: 코드 수정 없음. 정책문서 2개와 최근 bus_commands의 needs_evidence / missing_* 사례를 4블록 기준으로 정리.

1. [권고]

1순위: 다음 태스크 body 맨 끝에 아래 문구를 반드시 그대로 넣는다. 이유는 최근 8건 중 실제 근거부족 4건이 전부 결론/근거/검증/근거파일 중 최소 1개를 빠뜨렸기 때문이다. 기대효과는 missing_execution_value, verification_command_unverifiable, execution_artifact_path_not_found 재발을 50% 이상 줄이는 것이다.

필수 삽입 문구: 완료 제출 전에 result_note 끝에 아래 4줄을 반드시 채워라. 4줄 중 하나라도 비면 done 제출 금지. 결론: <실행/확인/작성/수정한 대상>을 완료형으로 쓴다. 제안·예정·보류 금지. 근거: <직접 읽은 파일/DB/API/로그> + <조회 YYYY-MM-DD HH:MM KST>를 쓴다. 사유만 쓰지 말 것. 검증: <실행한 검증 명령 또는 계산> → <실제 결과값/건수/exit code>를 쓴다. 정상 확인함 단독 금지. 근거파일: <실존 경로>:<줄번호> "<원문 일부>"를 쓴다. 경로·줄번호·인용 중 하나라도 빼지 말 것.

2순위: 코드형·시장데이터형·대행형 태스크 body에는 공통 4줄 뒤에 다음 보강 문구를 붙인다. 이유는 최근 사례에서 존재하지 않는 self_evolve.py, HYG_2024-05-21.json, IEF_2024-05-21.json, TLT_2024-05-21.json 같은 phantom path가 반복됐기 때문이다. 기대효과는 execution_artifact_path_not_found 유형을 3일 내 0건으로 낮추는 것이다.

보강 문구: 근거/검증/근거파일에 적는 모든 경로는 제출 직전 실제 존재를 확인하라. 존재하지 않는 경로를 지어내면 done 제출 금지. 검증 줄에는 재현 가능한 명령과 exit code 또는 실제 수치를 함께 적어라. blocked: not in whitelist는 보안 정상 동작이며 검증 성공 근거가 아니다.

2. [현황]

정책문서 확인 결과, agent_completion_submission_standard.md는 76~92행에서 완료 보고를 결론/근거/검증/근거파일 순서로 쓰라고 규정하고, 94~103행에서 짧은 운영 문구를 이미 제시한다. 같은 문서 159~170행은 missing_execution_value, missing_source, missing_verification_value, missing_original_verification, execution_artifact_path_not_found 등을 반려 라벨로 정리한다.

completion_evidence_policy.md는 16~28행에서 실행값, 출처, 검증값, 파일+라인+원문 인용 4대 근거를 정의한다. 87~99행은 최근 반복 반려 기준을 missing_execution_value, missing_source, missing_verification_value, missing_original_verification, missing_source_log_path, missing_verification_command로 정리한다.

최근 bus_commands 조회(2026-09-19 15:41 KST)에서는 needs_evidence/missing_* 최신 8건 중 4건이 실제 근거부족, 4건이 llm_infra_failure 계열이었다. 실제 근거부족 4건의 누락은 다음과 같다. - #39395 ron: missing_execution_value, missing_execution_artifact. 실제 실행 결과와 결과물 경로 부족. - #39394 cowork: 근거 섹션 미기재, verification_command_unverifiable. 원문 확인과 재현 가능한 검증 명령 부족. - #39389 analyst-technical: verification_command_unverifiable, execution_artifact_path_not_found. 존재하지 않는 HYG/IEF/TLT json 경로 인용. - #39390 cowork: execution_artifact_path_not_found. 존재하지 않는 self_evolve.py 인용.

이전 대비 변화: 2026-09-03 정책문서의 초기 기준은 24시간 3건 수준이었고, 현재 최신 표본은 8건 중 근거부족 4건이다. 단, 4건은 인프라 타임아웃이라 4블록 재작성 대상이 아니다.

3. [리스크]

구조적 위험 1: 정책 문서는 있지만 태스크 body에 그대로 실리지 않으면 에이전트가 읽지 않는다. v2 정책에서도 같은 문제가 cowork_daily_prompt 배선 누락으로 확인됐다. 따라서 다음 태스크 생성 시 body 끝에 4줄 문구를 직접 넣어야 한다.

구조적 위험 2: 결론/근거/검증/근거파일 라벨만 있어도 경로가 실존하지 않으면 더 강하게 반려된다. 최근 #39389, #39390이 이 유형이다. 검증 명령보다 먼저 경로 존재 확인이 필요하다.

구조적 위험 3: needs_evidence 중 llm_infra_failure_retry_deferred는 4블록 문제가 아니다. 이를 missing_와 섞어 재작성시키면 큐만 소모한다. 반려 사유가 missing_인지 infra_failure인지 먼저 분리해야 한다.

4. [검증방법]

KPI: 다음 72시간 동안 result_note LIKE '%missing_%' 또는 '%execution_artifact_path_not_found%' 반려를 현재 최신 표본 4건 대비 50% 이상 줄인다.

검증 명령: sqlite3 /Users/ron/.hermes/data/ops_multiagent.db "SELECT claimed_by, COUNT(*) FROM bus_commands WHERE (result_note LIKE '%missing_%' OR result_note LIKE '%execution_artifact_path_not_found%') AND datetime(created_at) >= datetime('now','-3 day') GROUP BY claimed_by ORDER BY 2 DESC;"

기대값: 같은 에이전트·같은 라벨 3회 연속 재발 0건. 특히 self_evolve.py, market_indicator.py, HYG_2024-05-21.json처럼 실존하지 않는 경로 재인용 0건.

롤백 조건: 4블록과 실존 경로를 모두 채웠는데도 missing_execution_artifact 또는 missing_verification_exit_code가 재발하면 문구 문제가 아니라 게이트 코드 조건 문제로 분류하고 codex 재조사로 넘긴다.

5. 다음 태스크 body 최종 권장문

아래 문단을 복사해 다음 태스크 body 끝에 붙인다.

완료 제출 전 필수: result_note 끝에 결론/근거/검증/근거파일 4줄을 이 순서로 채워라. 결론은 실행 완료형, 근거는 직접 읽은 파일/DB/API/로그와 조회시각, 검증은 재현 가능한 명령과 실제 결과값 또는 exit code, 근거파일은 실존 경로:줄번호와 원문 인용이다. 근거/검증/근거파일에 적는 모든 경로는 제출 직전 실제 존재를 확인하라. 존재하지 않는 경로를 지어내면 done 제출 금지. blocked: not in whitelist는 보안 정상 동작이며 검증 성공 근거가 아니다. llm_infra_failure_retry_deferred는 4블록 재작성 대상이 아니므로 missing_*와 분리해 보고하라.

완료 보고

결론: 근거부족 실패 재발 방지 운영안을 정책문서 2개와 최근 bus_commands 반려 8건 기준으로 작성했다. 근거: /Users/ron/.hermes/workspace/config/agent_completion_submission_standard.md, /Users/ron/.hermes/workspace/config/completion_evidence_policy.md, /Users/ron/.hermes/data/ops_multiagent.db bus_commands 조회 2026-09-19 15:41 KST; 누락 항목은 #39395 missing_execution_value/missing_execution_artifact, #39394 근거 섹션 미기재/verification_command_unverifiable, #39389 verification_command_unverifiable/execution_artifact_path_not_found, #39390 execution_artifact_path_not_found. 검증: test -f /Users/ron/knowledge-agent/400-reports/260919_evidence_gate_recurrence_note.md && grep -E '^(결론|근거|검증|근거파일):' /Users/ron/knowledge-agent/400-reports/260919_evidence_gate_recurrence_note.md | wc -l → 4개 이상 확인 예정; 통과 토큰 EVIDENCE_GATE_NOTE_PASS. 근거파일: /Users/ron/knowledge-agent/400-reports/260919_evidence_gate_recurrence_note.md:1 "# 260919 evidence gate recurrence note"