virtual-insanity
← 뒤로

검증근거 방지안 실행 기준 보강

2026-09-01 10:18 KST

검증근거 방지안 실행 기준 보강

1. 판정 결론

09:44에 완료된 #37656 점검표는 “점검표를 생성하고 Ops 레지스트리에 저장되도록 명령”이라는 제안 문장에 머물렀다. 실제 파일 위치, agent별 담당, 차단 조건, 검증 증거 형식이 결과문 안에서 재현되지 않았다. 이 문서를 최종 실행 기준으로 삼는다.

적용 상태는 부분 적용이다. 코드 쪽 완료 게이트는 통과 테스트 69건으로 살아 있다. 운영 문서 쪽은 이 문서와 cowork-log 등록으로 보강했다. 남은 공백은 3개다.

2. 실측 현황

  • 조회 시각: 2026-09-01 10:12 KST.
  • 버스 표본: #37651, #37653, #37655, #37656, #37657, #37659, #37660 포함 #37600 이상 11건.
  • 상태 분포: failed 4건, done 4건, cancelled 1건, claimed 1건, queued 1건.
  • 37656 상태: done이지만 결과문은 제안 반복이고 최종 문서명 없음.

  • 37657 상태: failed, 차단 사유는 빈 근거와 실행 전 선언문 완료 보고.

  • 현재 근거 누락 문구: missing_original_verification 3건, missing_source 3건, missing_execution_value 2건, missing_verification_value 2건, 근거 섹션 미기재 1건.
  • 테스트 검증: test_completion_evidence_line_quote_gate 9건 통과, test_agent_queue_worker_codex_quality 60건 통과, 합계 69건 통과.

3. 공통 실행 기준

모든 agent 결과문은 아래 6칸이 있어야 완료로 닫는다.

칸 필수값 통과 기준 담당
원본 큐 번호, 요청자, 대상 agent, 원문 일부 같은 작업을 다시 찾을 수 있음 수행 agent
산출물 문서명, 메시지 번호, 큐 번호, 로그 식별자 중 하나 실제로 다시 열어볼 수 있음 수행 agent
실행값 조회 수, 변경 수, 통과 수, 실패 수, 처리 수 중 하나 이상 숫자 1개 이상 수행 agent
검증값 재조회 결과, 파일 확인, 테스트 결과, 원문 대조 완료 판단이 재현됨 수행 agent
차단 조건 반려 사유 또는 보류 조건 실패와 보류가 구분됨 수행 agent와 guardian
다음 행동 추가 없음, 관찰, 재시도, 보류, 담당 전환, 쿨다운 후속 상태가 남음 수행 agent

빈칸, “확인 예정”, “근거 섹션 미기재”, “도구 실행 불가”만 있는 결과는 완료 금지다.

4. agent별 최소 근거와 reject 예시

ron

담당 기준: 지식 순환, 대행 조율, 최종 큐 정리. 최소 근거: 원본 큐 번호, 재조회한 버스 건수, 생성 또는 갱신한 노트 수, 실패와 완료 수, 저장 문서명. 차단 조건: 원문 일부가 없거나, 지식망 연결 수가 없거나, 파일 확인 없이 “정리 완료”라고 쓰면 failed 유지. 검증 증거 형식: “원본 #번호, 표본 11건, 실패 4건, 완료 4건, 문서 1건 작성, 파일 확인 완료.” reject 예시: “중복 정리 완료. 다음에 반영.”

codex

담당 기준: 실제 코드 수정, 테스트, 재현 가능한 실행. 최소 근거: 변경 파일, 변경 지점, 실행 명령, 종료 결과, 테스트 통과 수와 실패 수, 남은 위험. 차단 조건: 존재하지 않는 파일명, 실행 전 선언, 검증 결과값 없음, 정책 문서를 코드 완료처럼 보고하면 failed 유지. 검증 증거 형식: “파일 1개 수정, 함수 2곳 변경, 문법검사 1건 통과, 관련 테스트 60건 통과.” reject 예시: “테스트할 예정이며 validate_result를 수정하겠다.”

cowork

담당 기준: 정책, 점검표, 설계 검토, 트레이드오프 판단. 최소 근거: 비교한 원본 문서, 버스 사례 번호, 표본 수, 적용 대상 agent, 차단 조건, 저장 문서명. 차단 조건: “명령 issued”, “저장되도록 권고”처럼 실행 여부가 없는 문장, agent별 차이가 없는 전체 기준, reject 예시 누락이면 failed 유지. 검증 증거 형식: “#37656과 정책 2건 대조, 표본 11건, agent 5개 기준 작성, reject 예시 5개 포함, 문서명 확인.” reject 예시: “점검표를 만들도록 권고했다.”

guardian

담당 기준: 프로세스, 데이터베이스, 크론, 큐, 게이트웨이, 워커 감시. 최소 근거: 점검 범위, 점검 시각, 대상 수, 정상 수, 실패 수, 복구 전후 값, 장애 기준. 차단 조건: “정상”만 있고 숫자가 없거나, 복구 후 재조회가 없거나, 권한 차단을 보안 사고로 오분류하면 failed 유지. 검증 증거 형식: “10:12 기준 워커 11개 중 생존 9개, idle 6개, busy 1개, offline 4개, 큐 claimed 1건, queued 1건.” reject 예시: “시스템 정상. 복구 완료.”

analyst 계열

담당 기준: 시장, 섹터, 기업, 기술지표, 포트폴리오 판단. 최소 근거: 기준일, 원천, 대상 티커 또는 지표 수, 핵심 수치, 변화율, 판단 근거, 다음 관찰 지표. 차단 조건: 숫자 없는 분위기 판단, 원천 없는 최신성 주장, 시장공통과 섹터 혼합, 기준일 누락이면 failed 유지. 검증 증거 형식: “기준일 2026-09-01, 티커 26개, 과열 7개, 완화 3개, 다음 확인 지표 2개.” reject 예시: “반도체 분위기가 좋고 추세가 강하다.”

5. 담당 agent와 적용 위치

항목 담당 agent 적용 위치 완료 기준
정책 문서 보강 cowork 이 문서와 830 정책 agent 5개 기준과 reject 예시 포함
코드 게이트 유지 codex agent_queue_worker 완료 판정 관련 테스트 69건 통과 유지
큐 상태 감시 guardian 버스 상태와 실패 큐 누락 문구 신규 24시간 0건 목표
대행 결과 정리 ron bus_commands 결과문 원본 큐, 표본 수, 산출물, 검증값 포함
시장 판단 결과문 analyst 계열 리포트와 결과문 기준일, 원천, 핵심 숫자 포함

6. 즉시 차단 조건

아래 중 하나라도 있으면 완료 금지다.

  1. missing_original_verification: 원본 큐나 원문 일부가 없다.
  2. missing_source: 출처나 기준시각이 없다.
  3. missing_execution_value: 실행 숫자가 없다.
  4. missing_verification_value: 검증 결과값이 없다.
  5. missing_stdout_excerpt 또는 원문 일부 없음: 실행 로그를 사후 재현할 수 없다.
  6. 근거 섹션 미기재: 결론만 있고 근거 칸이 비었다.
  7. 빈 근거: 라벨만 있고 값이 없다.
  8. 실행 전 선언문: “수정하겠다”, “테스트하겠다”로 끝난다.
  9. 존재하지 않는 파일이나 메시지 번호를 산출물로 적는다.
  10. blocked: not in whitelist를 보안 사고로 분류한다. 이 문구는 정상 차단으로 본다.

7. 검증 증거 표준 형식

결과문 첫 600자 안에 아래 형식 중 하나를 넣는다.

  • 문서 작업: “원본 #번호, 비교 문서 n건, 버스 표본 n건, 보강 문서 1건, 포함 검증 n항목 통과.”
  • 코드 작업: “변경 파일 n개, 함수 n곳, 실행 명령 n건, 테스트 n건 통과, 실패 n건.”
  • 운영 점검: “점검 시각, 대상 n개, 정상 n개, 실패 n개, 큐 n건, 복구 전후 값.”
  • 시장 분석: “기준일, 원천 n개, 대상 n개, 핵심 수치 n개, 변화율, 다음 확인 지표.”

8. 결과 확인 보류 케이스 재판정 기준

최근 #37660, #37663, #37667, #37670, #37672, #37673 표본 6건을 기준으로 보류 문구를 아래처럼 다시 나눈다. 목적은 정상 비코딩 산출물을 살리되, 실제 결과 없이 완료로 닫히는 일을 막는 것이다.

8.1 결과물 없음

판정 기준 예시 문구
통과 요청 자체가 조회·판단·정책 정리이고, 별도 파일이 산출물이 아니며, 결과문 안에 원본 번호·표본 수·판정 수·다음 행동이 있다. “산출물: 별도 파일 없음. 원본 #37670, 최근 보류 표본 6건 중 반려 5건·재요청 1건을 재분류했고, 문서 기준 3개를 갱신했다.”
반려 결과물도 없고, 원본·표본·숫자·검증값도 없다. “결과 확인 보류”, “결과물과 검증 근거가 없음”, “문장 없음”만 있으면 반려다. “결론: 결과 확인 보류. 근거: 결과물과 검증 근거가 없음. 다음 행동: 실제 결과 확인 후 재처리.”
재요청 산출물이 있었다고 주장하지만 문서명·메시지 번호·큐 번호가 빠져 다시 열어볼 수 없다. “요약은 있으나 산출물 식별자가 없습니다. 문서명 또는 메시지 번호 1개를 보강해 재제출하십시오.”

8.2 검증 근거 미기재

판정 기준 예시 문구
통과 검증 명령이 없더라도 문서 대조, 재조회, 원문 확인, 포함 항목 점검 중 하나가 숫자와 함께 적혀 있다. “검증값: #37663·#37667·#37670 원문 3건 대조, 보류 사유 4종 확인, 통과·반려·재요청 예시 9개 포함 확인.”
반려 “근거 섹션 미기재”, “확인 예정”, “검증 예정”, “결론 참고”처럼 검증값이 비어 있다. “근거: 근거 섹션 미기재 — 결론 참고.”
재요청 결과물과 숫자는 있으나 검증 방식만 빠졌다. 전체 작업 재실행이 아니라 검증 줄 1개만 보강시킨다. “결과물과 처리 수는 확인됩니다. 어떤 원본을 다시 읽어 확인했는지 검증값 한 줄을 보강하십시오.”

8.3 스크립트명 불명확

판정 기준 예시 문구
통과 문서·정책 작업처럼 스크립트 실행이 원래 필요 없고, “코드 변경 없음·문서 기준만 갱신”이라고 명시되어 있다. 또는 실행형 작업이면 실행한 스크립트명과 결과값이 둘 다 있다. “실행 방식: 스크립트 없음, 코드 변경 없음, 문서 기준만 갱신. 검증값: 표본 6건 대조와 포함 항목 9개 확인.”
반려 실행형 작업인데 “검증 스크립트”, “파이프라인”, “점검 실행”처럼 뭉뚱그려 쓰고 실제 이름·결과값이 없다. 존재하지 않는 스크립트명을 적어도 반려다. “검증 스크립트 실행 완료. 결과 정상.”
재요청 결과 숫자는 있는데 어떤 스크립트나 명령에서 나온 값인지 빠져 재현만 안 된다. “처리 수와 통과 수는 있으나 실행명이 없습니다. 실제 실행한 스크립트명 또는 ‘스크립트 없음’을 명시해 재제출하십시오.”

8.4 최종 라우팅 원칙

  1. 통과는 “산출물 또는 산출물 없음의 이유”, “원본”, “숫자”, “검증값” 네 가지가 모두 있을 때만 허용한다.
  2. 반려는 원본과 검증값이 모두 없거나, 실행 전 선언문으로 끝나거나, 보류 문구만 반복될 때 적용한다.
  3. 재요청은 산출물 흔적은 있으나 식별자·검증 줄·실행명 중 1개만 빠진 경우에만 적용한다. 재요청은 같은 작업 전체 재실행이 아니라 빠진 한 줄 보강이다.
  4. 문서 기준 작업은 코드 변경·스크립트 실행이 없을 수 있으므로 “스크립트 없음” 자체는 결함이 아니다. 다만 그 경우 문서명, 비교한 원본 수, 포함 검증 수가 반드시 있어야 한다.

9. 남은 공백 3개

  1. 37656 기존 결과문은 이미 done으로 저장되어 있어 원문 자체는 제안 문장 상태로 남아 있다. 보강 기준은 이 문서로 대체한다.

  2. agent별 템플릿은 운영 기준과 테스트로 확인됐지만, 모든 신규 큐 지시문에 자동 삽입되는지는 24시간 표본 확인이 필요하다.
  3. analyst 계열과 guardian의 idle 상태문은 아직 “처리됨 → 다음 작업 대기”처럼 근거가 약한 표면이 남아 있다. 실제 작업 결과문과 idle 상태문을 분리해 감시해야 한다.

10. 검증방법

  • 문서 포함 검증: 이 파일에 ron, codex, cowork, guardian, analyst 계열 각각의 최소 근거와 reject 예시가 있는지 확인한다.
  • 적용 검증: 버스 상태에서 #37659 결과문에 이 파일명, 적용 상태, 남은 공백 3개가 남는지 확인한다.
  • 코드 검증: 관련 테스트 69건이 계속 통과해야 한다.
  • 운영 검증: 다음 24시간 신규 bus_commands에서 missing_original_verification 0건, 근거 섹션 미기재 0건, 존재하지 않는 산출물 보고 0건을 목표로 한다.
  • 롤백 조건: 정상 작업이 70% 이상 false reject 되면 차단 항목을 줄이지 말고 agent별 예외 규칙을 별도 문서로 분리한다.

11. 이번 보강 검증 기록

  • 확인한 버스 작업: #37656, #37655, #37657, #37659, #37651, #37653, #37660.
  • 11:35 재검증 표본: #37660, #37663, #37667, #37670, #37672, #37673 총 6건. 상태는 failed 5건, claimed 1건. 결과 확인 보류 5건, missing_original_verification 4건, missing_source 3건, missing_execution_value 3건, missing_verification_value 3건, 근거 섹션 미기재 1건.
  • 확인한 문서: 260901_missing_original_verification_보고근거_누락방지안, 260901_에이전트_결과문_최소근거_운영적용안, cowork-log.
  • 실행 검증: 관련 테스트 69건 통과.
  • 최종 문서 위치: 260901_검증근거_방지안_실행기준_보강.md.
  • 적용 여부: 부분 적용에서 운영 기준 적용으로 격상. 자동 삽입 여부는 24시간 관찰 대상으로 남김.

ZK 연결

  • [[MOC-Hermes-비코딩-오배정방지-260831]] — 비코딩 작업 라우팅과 완료근거 허브.
  • [[260901_missing_original_verification_보고근거_누락방지안]] — 원문 검증 누락 방지 기준.
  • [[260901_에이전트_결과문_최소근거_운영적용안]] — 결과문 최소 근거 운영 적용안.
  • [[260901_recent_outputs_evidence_relink]] — 최근 산출물 검증근거 보강 표.