검증근거 방지안 실행 기준 보강
1. 판정 결론
09:44에 완료된 #37656 점검표는 “점검표를 생성하고 Ops 레지스트리에 저장되도록 명령”이라는 제안 문장에 머물렀다. 실제 파일 위치, agent별 담당, 차단 조건, 검증 증거 형식이 결과문 안에서 재현되지 않았다. 이 문서를 최종 실행 기준으로 삼는다.
적용 상태는 부분 적용이다. 코드 쪽 완료 게이트는 통과 테스트 69건으로 살아 있다. 운영 문서 쪽은 이 문서와 cowork-log 등록으로 보강했다. 남은 공백은 3개다.
2. 실측 현황
- 조회 시각: 2026-09-01 10:12 KST.
- 버스 표본: #37651, #37653, #37655, #37656, #37657, #37659, #37660 포함 #37600 이상 11건.
- 상태 분포: failed 4건, done 4건, cancelled 1건, claimed 1건, queued 1건.
-
37656 상태: done이지만 결과문은 제안 반복이고 최종 문서명 없음.
-
37657 상태: failed, 차단 사유는 빈 근거와 실행 전 선언문 완료 보고.
- 현재 근거 누락 문구: missing_original_verification 3건, missing_source 3건, missing_execution_value 2건, missing_verification_value 2건, 근거 섹션 미기재 1건.
- 테스트 검증: test_completion_evidence_line_quote_gate 9건 통과, test_agent_queue_worker_codex_quality 60건 통과, 합계 69건 통과.
3. 공통 실행 기준
모든 agent 결과문은 아래 6칸이 있어야 완료로 닫는다.
| 칸 | 필수값 | 통과 기준 | 담당 |
|---|---|---|---|
| 원본 | 큐 번호, 요청자, 대상 agent, 원문 일부 | 같은 작업을 다시 찾을 수 있음 | 수행 agent |
| 산출물 | 문서명, 메시지 번호, 큐 번호, 로그 식별자 중 하나 | 실제로 다시 열어볼 수 있음 | 수행 agent |
| 실행값 | 조회 수, 변경 수, 통과 수, 실패 수, 처리 수 중 하나 이상 | 숫자 1개 이상 | 수행 agent |
| 검증값 | 재조회 결과, 파일 확인, 테스트 결과, 원문 대조 | 완료 판단이 재현됨 | 수행 agent |
| 차단 조건 | 반려 사유 또는 보류 조건 | 실패와 보류가 구분됨 | 수행 agent와 guardian |
| 다음 행동 | 추가 없음, 관찰, 재시도, 보류, 담당 전환, 쿨다운 | 후속 상태가 남음 | 수행 agent |
빈칸, “확인 예정”, “근거 섹션 미기재”, “도구 실행 불가”만 있는 결과는 완료 금지다.
4. agent별 최소 근거와 reject 예시
ron
담당 기준: 지식 순환, 대행 조율, 최종 큐 정리. 최소 근거: 원본 큐 번호, 재조회한 버스 건수, 생성 또는 갱신한 노트 수, 실패와 완료 수, 저장 문서명. 차단 조건: 원문 일부가 없거나, 지식망 연결 수가 없거나, 파일 확인 없이 “정리 완료”라고 쓰면 failed 유지. 검증 증거 형식: “원본 #번호, 표본 11건, 실패 4건, 완료 4건, 문서 1건 작성, 파일 확인 완료.” reject 예시: “중복 정리 완료. 다음에 반영.”
codex
담당 기준: 실제 코드 수정, 테스트, 재현 가능한 실행. 최소 근거: 변경 파일, 변경 지점, 실행 명령, 종료 결과, 테스트 통과 수와 실패 수, 남은 위험. 차단 조건: 존재하지 않는 파일명, 실행 전 선언, 검증 결과값 없음, 정책 문서를 코드 완료처럼 보고하면 failed 유지. 검증 증거 형식: “파일 1개 수정, 함수 2곳 변경, 문법검사 1건 통과, 관련 테스트 60건 통과.” reject 예시: “테스트할 예정이며 validate_result를 수정하겠다.”
cowork
담당 기준: 정책, 점검표, 설계 검토, 트레이드오프 판단. 최소 근거: 비교한 원본 문서, 버스 사례 번호, 표본 수, 적용 대상 agent, 차단 조건, 저장 문서명. 차단 조건: “명령 issued”, “저장되도록 권고”처럼 실행 여부가 없는 문장, agent별 차이가 없는 전체 기준, reject 예시 누락이면 failed 유지. 검증 증거 형식: “#37656과 정책 2건 대조, 표본 11건, agent 5개 기준 작성, reject 예시 5개 포함, 문서명 확인.” reject 예시: “점검표를 만들도록 권고했다.”
guardian
담당 기준: 프로세스, 데이터베이스, 크론, 큐, 게이트웨이, 워커 감시. 최소 근거: 점검 범위, 점검 시각, 대상 수, 정상 수, 실패 수, 복구 전후 값, 장애 기준. 차단 조건: “정상”만 있고 숫자가 없거나, 복구 후 재조회가 없거나, 권한 차단을 보안 사고로 오분류하면 failed 유지. 검증 증거 형식: “10:12 기준 워커 11개 중 생존 9개, idle 6개, busy 1개, offline 4개, 큐 claimed 1건, queued 1건.” reject 예시: “시스템 정상. 복구 완료.”
analyst 계열
담당 기준: 시장, 섹터, 기업, 기술지표, 포트폴리오 판단. 최소 근거: 기준일, 원천, 대상 티커 또는 지표 수, 핵심 수치, 변화율, 판단 근거, 다음 관찰 지표. 차단 조건: 숫자 없는 분위기 판단, 원천 없는 최신성 주장, 시장공통과 섹터 혼합, 기준일 누락이면 failed 유지. 검증 증거 형식: “기준일 2026-09-01, 티커 26개, 과열 7개, 완화 3개, 다음 확인 지표 2개.” reject 예시: “반도체 분위기가 좋고 추세가 강하다.”
5. 담당 agent와 적용 위치
| 항목 | 담당 agent | 적용 위치 | 완료 기준 |
|---|---|---|---|
| 정책 문서 보강 | cowork | 이 문서와 830 정책 | agent 5개 기준과 reject 예시 포함 |
| 코드 게이트 유지 | codex | agent_queue_worker 완료 판정 | 관련 테스트 69건 통과 유지 |
| 큐 상태 감시 | guardian | 버스 상태와 실패 큐 | 누락 문구 신규 24시간 0건 목표 |
| 대행 결과 정리 | ron | bus_commands 결과문 | 원본 큐, 표본 수, 산출물, 검증값 포함 |
| 시장 판단 결과문 | analyst 계열 | 리포트와 결과문 | 기준일, 원천, 핵심 숫자 포함 |
6. 즉시 차단 조건
아래 중 하나라도 있으면 완료 금지다.
- missing_original_verification: 원본 큐나 원문 일부가 없다.
- missing_source: 출처나 기준시각이 없다.
- missing_execution_value: 실행 숫자가 없다.
- missing_verification_value: 검증 결과값이 없다.
- missing_stdout_excerpt 또는 원문 일부 없음: 실행 로그를 사후 재현할 수 없다.
- 근거 섹션 미기재: 결론만 있고 근거 칸이 비었다.
- 빈 근거: 라벨만 있고 값이 없다.
- 실행 전 선언문: “수정하겠다”, “테스트하겠다”로 끝난다.
- 존재하지 않는 파일이나 메시지 번호를 산출물로 적는다.
- blocked: not in whitelist를 보안 사고로 분류한다. 이 문구는 정상 차단으로 본다.
7. 검증 증거 표준 형식
결과문 첫 600자 안에 아래 형식 중 하나를 넣는다.
- 문서 작업: “원본 #번호, 비교 문서 n건, 버스 표본 n건, 보강 문서 1건, 포함 검증 n항목 통과.”
- 코드 작업: “변경 파일 n개, 함수 n곳, 실행 명령 n건, 테스트 n건 통과, 실패 n건.”
- 운영 점검: “점검 시각, 대상 n개, 정상 n개, 실패 n개, 큐 n건, 복구 전후 값.”
- 시장 분석: “기준일, 원천 n개, 대상 n개, 핵심 수치 n개, 변화율, 다음 확인 지표.”
8. 결과 확인 보류 케이스 재판정 기준
최근 #37660, #37663, #37667, #37670, #37672, #37673 표본 6건을 기준으로 보류 문구를 아래처럼 다시 나눈다. 목적은 정상 비코딩 산출물을 살리되, 실제 결과 없이 완료로 닫히는 일을 막는 것이다.
8.1 결과물 없음
| 판정 | 기준 | 예시 문구 |
|---|---|---|
| 통과 | 요청 자체가 조회·판단·정책 정리이고, 별도 파일이 산출물이 아니며, 결과문 안에 원본 번호·표본 수·판정 수·다음 행동이 있다. | “산출물: 별도 파일 없음. 원본 #37670, 최근 보류 표본 6건 중 반려 5건·재요청 1건을 재분류했고, 문서 기준 3개를 갱신했다.” |
| 반려 | 결과물도 없고, 원본·표본·숫자·검증값도 없다. “결과 확인 보류”, “결과물과 검증 근거가 없음”, “문장 없음”만 있으면 반려다. | “결론: 결과 확인 보류. 근거: 결과물과 검증 근거가 없음. 다음 행동: 실제 결과 확인 후 재처리.” |
| 재요청 | 산출물이 있었다고 주장하지만 문서명·메시지 번호·큐 번호가 빠져 다시 열어볼 수 없다. | “요약은 있으나 산출물 식별자가 없습니다. 문서명 또는 메시지 번호 1개를 보강해 재제출하십시오.” |
8.2 검증 근거 미기재
| 판정 | 기준 | 예시 문구 |
|---|---|---|
| 통과 | 검증 명령이 없더라도 문서 대조, 재조회, 원문 확인, 포함 항목 점검 중 하나가 숫자와 함께 적혀 있다. | “검증값: #37663·#37667·#37670 원문 3건 대조, 보류 사유 4종 확인, 통과·반려·재요청 예시 9개 포함 확인.” |
| 반려 | “근거 섹션 미기재”, “확인 예정”, “검증 예정”, “결론 참고”처럼 검증값이 비어 있다. | “근거: 근거 섹션 미기재 — 결론 참고.” |
| 재요청 | 결과물과 숫자는 있으나 검증 방식만 빠졌다. 전체 작업 재실행이 아니라 검증 줄 1개만 보강시킨다. | “결과물과 처리 수는 확인됩니다. 어떤 원본을 다시 읽어 확인했는지 검증값 한 줄을 보강하십시오.” |
8.3 스크립트명 불명확
| 판정 | 기준 | 예시 문구 |
|---|---|---|
| 통과 | 문서·정책 작업처럼 스크립트 실행이 원래 필요 없고, “코드 변경 없음·문서 기준만 갱신”이라고 명시되어 있다. 또는 실행형 작업이면 실행한 스크립트명과 결과값이 둘 다 있다. | “실행 방식: 스크립트 없음, 코드 변경 없음, 문서 기준만 갱신. 검증값: 표본 6건 대조와 포함 항목 9개 확인.” |
| 반려 | 실행형 작업인데 “검증 스크립트”, “파이프라인”, “점검 실행”처럼 뭉뚱그려 쓰고 실제 이름·결과값이 없다. 존재하지 않는 스크립트명을 적어도 반려다. | “검증 스크립트 실행 완료. 결과 정상.” |
| 재요청 | 결과 숫자는 있는데 어떤 스크립트나 명령에서 나온 값인지 빠져 재현만 안 된다. | “처리 수와 통과 수는 있으나 실행명이 없습니다. 실제 실행한 스크립트명 또는 ‘스크립트 없음’을 명시해 재제출하십시오.” |
8.4 최종 라우팅 원칙
- 통과는 “산출물 또는 산출물 없음의 이유”, “원본”, “숫자”, “검증값” 네 가지가 모두 있을 때만 허용한다.
- 반려는 원본과 검증값이 모두 없거나, 실행 전 선언문으로 끝나거나, 보류 문구만 반복될 때 적용한다.
- 재요청은 산출물 흔적은 있으나 식별자·검증 줄·실행명 중 1개만 빠진 경우에만 적용한다. 재요청은 같은 작업 전체 재실행이 아니라 빠진 한 줄 보강이다.
- 문서 기준 작업은 코드 변경·스크립트 실행이 없을 수 있으므로 “스크립트 없음” 자체는 결함이 아니다. 다만 그 경우 문서명, 비교한 원본 수, 포함 검증 수가 반드시 있어야 한다.
9. 남은 공백 3개
-
37656 기존 결과문은 이미 done으로 저장되어 있어 원문 자체는 제안 문장 상태로 남아 있다. 보강 기준은 이 문서로 대체한다.
- agent별 템플릿은 운영 기준과 테스트로 확인됐지만, 모든 신규 큐 지시문에 자동 삽입되는지는 24시간 표본 확인이 필요하다.
- analyst 계열과 guardian의 idle 상태문은 아직 “처리됨 → 다음 작업 대기”처럼 근거가 약한 표면이 남아 있다. 실제 작업 결과문과 idle 상태문을 분리해 감시해야 한다.
10. 검증방법
- 문서 포함 검증: 이 파일에 ron, codex, cowork, guardian, analyst 계열 각각의 최소 근거와 reject 예시가 있는지 확인한다.
- 적용 검증: 버스 상태에서 #37659 결과문에 이 파일명, 적용 상태, 남은 공백 3개가 남는지 확인한다.
- 코드 검증: 관련 테스트 69건이 계속 통과해야 한다.
- 운영 검증: 다음 24시간 신규 bus_commands에서 missing_original_verification 0건, 근거 섹션 미기재 0건, 존재하지 않는 산출물 보고 0건을 목표로 한다.
- 롤백 조건: 정상 작업이 70% 이상 false reject 되면 차단 항목을 줄이지 말고 agent별 예외 규칙을 별도 문서로 분리한다.
11. 이번 보강 검증 기록
- 확인한 버스 작업: #37656, #37655, #37657, #37659, #37651, #37653, #37660.
- 11:35 재검증 표본: #37660, #37663, #37667, #37670, #37672, #37673 총 6건. 상태는 failed 5건, claimed 1건. 결과 확인 보류 5건, missing_original_verification 4건, missing_source 3건, missing_execution_value 3건, missing_verification_value 3건, 근거 섹션 미기재 1건.
- 확인한 문서: 260901_missing_original_verification_보고근거_누락방지안, 260901_에이전트_결과문_최소근거_운영적용안, cowork-log.
- 실행 검증: 관련 테스트 69건 통과.
- 최종 문서 위치: 260901_검증근거_방지안_실행기준_보강.md.
- 적용 여부: 부분 적용에서 운영 기준 적용으로 격상. 자동 삽입 여부는 24시간 관찰 대상으로 남김.
ZK 연결
- [[MOC-Hermes-비코딩-오배정방지-260831]] — 비코딩 작업 라우팅과 완료근거 허브.
- [[260901_missing_original_verification_보고근거_누락방지안]] — 원문 검증 누락 방지 기준.
- [[260901_에이전트_결과문_최소근거_운영적용안]] — 결과문 최소 근거 운영 적용안.
- [[260901_recent_outputs_evidence_relink]] — 최근 산출물 검증근거 보강 표.