대행 결과 검증근거 규칙 최종 반영안
확인 대상
- 기준 제안: ops proposal e4172a79
- 기준 사례: bus command #37525의
결과물과 검증 근거가 없음보류, #37519~#37520의 검증값 부족 보류, #37521의 검증 생략 문구 혼입 - 실측 기준시각: 2026-08-31 11:42 KST
- 확인 범위: 최근 24시간 bus_commands 11건, 대행 관련 8건, 최근 command-queue API 10건
현황 수치
- 최근 24시간 bus_commands 11건: done 5건, failed 5건, cancelled 1건
- 대행 관련 8건: failed 5건, done 2건, cancelled 1건 → 대행 실패율 62.5%
- 누락 사유: missing_source 4건, missing_original_verification 3건, missing_execution_value 2건, missing_verification_value 2건, missing_source_log_path 2건, missing_verification_command 2건
결과물과 검증 근거가 없음문구 포함 사례 2건 확인- e4172a79는 ops proposal로 확인됐고, 본문 길이 2496자로 기록돼 있음
확정 반영 문구 5개
- 제목의
[대행:이름]은 실제 수행자가 아니라 원래 대상 표시다. 실제 수행자는 본문 첫 줄에만 쓴다. - 대행 큐 본문 첫 줄은
원래 요청자=..., 원래 대상=..., 대행 사유=인프라 대기/역할 불일치/중복 실패 회피, 실제 수행자=..., 검증 책임자=...형식으로 쓴다. - 완료보고는
원본 command id, 실제 산출물, 실행값 숫자, 검증 명령 또는 조회 경로, 기대값과 실제값, 미확인 항목을 모두 포함한다. 하나라도 없으면 done으로 닫지 않는다. - 정책, 분류, 운영안 검토는 cowork 또는 ron에 둔다. codex는 실제 파일, 변경 대상, 검증 명령이 모두 있는 작업에만 배정한다.
blocked: not in whitelist는 정상 권한 차단이다. 보안 사고나 복구 대상으로 쓰지 않고, 필요한 경우 허용된 조회 경로로 바꿔 재검증한다.
보류해야 할 문구와 이유
추가 검증 없이 바로 큐 지시문에 반영 가능은 보류한다. #37521처럼 조회 실패나 기억 기반 판단을 검증 생략으로 오해하게 만든다.결과물과 검증 근거가 없음은 최종 산출물 문구로 쓰지 않는다. 실패 상태 설명에는 쓸 수 있지만, 제안서 본문이나 완료보고의 근거로 쓰면 자기반복 실패가 된다.source_log_path와 verification_command를 모든 작업에 예외 없이 요구는 보류한다. 정책·리서치 작업은 로그 파일 대신 원천 문서, 조회 경로, 표본 수, 기준시각으로 검증해야 하므로 정상 보고 오탐이 난다.자동 재라우팅 본문 5칸 강제는 이번 반영에서 보류한다. 자동 재라우팅 문구는 코드 생성 영역이라, 코드 변경 없음 조건과 충돌한다.ops_todos 특정 번호 완료 처리는 보류한다. 정책 문구 확정과 할 일 장부 처리는 별도 검증 대상이며, 대장 상태를 재확인한 뒤 처리해야 한다.
적용 위치 후보
- 즉시 적용: 수동 큐 지시문 공통 앞줄과 완료 검증 기준 줄
- 즉시 적용: ops proposal, status, completion note 작성 템플릿
- 부분 적용: ron이 재처리 작업을 만들 때 원본 command id와 직전 실패 사유를 본문에 넣는 지시문
- 보류 적용: orchestrator 자동 재라우팅 문구와 completion evidence gate 내부 문구는 코드 변경 과제로 분리
기대 효과
- 대행 관련 실패율 62.5%를 다음 24시간 표본에서 20% 이하로 낮추는 것이 1차 목표
- missing_original_verification 3건을 0건으로 낮추는 것이 핵심 목표
결과물과 검증 근거가 없음자기반복 보류 2건을 0건으로 줄이는 것이 보조 목표- codex 비코딩 배정은 0건을 목표로 둔다
- 수동 큐 지시문은 5칸 책임경계와 6칸 완료보고를 한 번에 요구하므로 중복 양식 2묶음을 1묶음으로 줄인다
반례 처리 기준
- 정상 보고가
근거 섹션 미기재나결과물과 검증 근거가 없음을 문제 사례로 인용했더라도, 실제 산출물·실행값·검증값이 있으면 차단하지 않는다. - 리서치·정책 보고는 shell 명령이 없어도 원천 파일명, 기준시각, 조회 경로, 표본 수, 실제 확인값이 있으면 검증 완료로 본다.
blocked: not in whitelist가 나오면 보안 사고로 쓰지 않는다. 해당 조회가 필수였으면 허용된 로컬 파일, DB, API 경로로 바꿔 재검증하고, 대체 검증이 없으면 보류한다.- 요청과다, 시간초과, 모델 대기 같은 인프라 실패는 검증근거 누락과 분리한다. 즉시 같은 결론을 반복하지 않고 쿨다운 뒤 재시도한다.
- 산출물 파일 없음, 가상 파일명, 조회값 불일치, 원본 command id 없음 중 하나라도 있으면 done 금지다.
검증 방법
- 측정 지표: 다음 24시간 대행 제목 포함 작업 10건 표본에서 본문 5칸 충족률 100%, 완료보고 6칸 충족률 100%, missing_original_verification 0건, codex 비코딩 배정 0건
- 검증 명령:
sqlite3 /Users/ron/.hermes/data/ops_multiagent.db "SELECT id,title,status,result_note FROM bus_commands WHERE created_at >= datetime('now','-1 day','localtime') ORDER BY id DESC;" - 검증 명령:
curl -s -H "X-Ops-Token: $(cat ~/.hermes/.bus-token)" "http://127.0.0.1:3344/api/bus/command-queue?limit=30" - 성공 기준: 대행 실패율 20% 이하, 자기반복 보류 0건, 원래 대상과 실제 수행자 충돌 done 0건
- 롤백 조건: 대행 실패율이 50% 이상 유지되거나, 원래 대상과 실제 수행자가 충돌한 done 사례가 1건 이상 나오면 정책 문구만으로는 부족하다고 보고 codex 코드 과제로 승격한다.
기록 위치
- 문서: /Users/ron/knowledge-agent/400-reports/260831_cowork_delegate_result_evidence_final_policy.md
- 원본 근거: ops proposal e4172a79, bus command #37517/#37519/#37520/#37521/#37524/#37525/#37526
ZK 연결
- [[MOC-Hermes-비코딩-오배정방지-260831]] — 비코딩 오배정 방지 지식망 허브
- [[260831_대행라벨은_원래대상_표시다]] — 본문 5칸과 완료보고 6칸 원자 규칙
- [[260831_비코딩_오배정_후속검증_기준]] — 다음 24시간 실패율 검증