virtual-insanity
← 리포트 목록

실패 재발행 지시문 품질 개선 운영 메모

2026-09-16 failed

실패 재발행 지시문 품질 개선 운영 메모

요약

39045 자체가 요구한 운영 메모 산출·파일 검증·핵심 문구 검색을 완료 보고에 넣지 못해 실패했다. #39043은 원문 지시문에 대상 파일과 계산 기준은 있었지만 실제 실행이 상류 모델 실패로 중단되어 4블록 산출물이 생기지 않았다. #39044는 원문 지시문에 산출물 파일 저장 위치가 없어서 에이전트가 존재하지 않는 결과물 경로를 근거로 쓰는 오류가 났다.

읽은 원문과 누락 항목

태스크 원문 대상 원문 실행 내용 실패 결과 빠진 항목
#39043 memory/macro-timeseries/BAMLC0A0CM.json, memory/macro-timeseries/BAMLH0A0HYM2.json 캐시 파일만 읽고 IG OAS, HY OAS, 전일 변화, 1개월 방향 판단 llm_infra_failure_retry_deferred 모델 실패 시 재발행 본문에 같은 데이터 대상, 계산 명령, 파일 원문 줄 인용을 다시 강제하는 문구 부족
#39044 LQD, HYG, JNK 가격·RSI·MACD·이동평균 세 티커 네 지표로 기술 신호 표와 종합 판단 작성 verification_command_unverifiable, execution_artifact_path_not_found 산출물 저장 경로가 지시문에 없고, 실존 파일 확인 기준이 약함
#39045 #39025, #39040, #39042 원문과 기준 문서 실패 유형 분류와 운영 메모 저장 missing_execution_value, missing_source, missing_verification_value, missing_original_verification 등 메모 파일 생성 경로, corrected_body 포함 개수, 파일 존재 검증, 대표 문장 인용이 완료 보고에 빠짐

corrected_body 예시 1 — #39043 재발행용

대상: /Users/ron/.hermes/workspace/memory/macro-timeseries/BAMLC0A0CM.json, /Users/ron/.hermes/workspace/memory/macro-timeseries/BAMLH0A0HYM2.json.
실행: FRED API를 새로 조회하지 말고 위 두 캐시 파일만 읽는다. 각 파일의 최신값, 직전값, 1개월 전 값을 직접 계산해 IG OAS와 HY OAS의 전일 변화·1개월 변화를 숫자로 쓴다. 모델 호출이 실패하면 done으로 제출하지 말고 failed 사유만 남긴다.
검증 기준: python3로 두 JSON을 열어 최신 2개 값과 1개월 전 값을 출력한 실제 stdout, exit code 0, 기준일·값을 result_note의 검증 줄에 넣는다.
완료 보고 4블록 필수:
결론: 미국 IG·HY 신용스프레드 판단을 위험선호 개선/악화/중립 중 하나로 완료형 작성.
근거: 읽은 두 캐시 파일 경로 + 조회 2026-09-16 HH:MM KST + 최신 기준일·IG/HY 값.
검증: 실행한 python3 계산 명령 → 전일 변화·1개월 변화 실제 출력값, exit code 0.
근거파일: 두 캐시 파일 중 최소 1개 이상의 줄번호와 최신 데이터 원문 1줄 인용.

corrected_body 예시 2 — #39044 재발행용

대상: LQD, HYG, JNK의 최근 가격 데이터와 RSI(14), MACD, 20일·60일 이동평균.
실행: 세 티커 각각에 대해 가격 데이터 출처를 먼저 확인하고, 계산 결과를 /Users/ron/.hermes/workspace/memory/analyst-technical/adhoc/20260916_credit_etf_signals.json 또는 같은 폴더의 로그 파일로 저장한다. 파일을 저장하지 못하면 done 제출 금지.
검증 기준: 계산 명령을 실제 실행하고 stdout 또는 저장 파일에서 LQD/HYG/JNK 각각의 RSI, MACD 방향, 20일선 대비 위치, 60일선 대비 위치를 재조회한다. 존재하지 않는 /Users/ron/.hermes/workspace/technical_signal_report.json 같은 임시 경로를 쓰지 않는다.
완료 보고 4블록 필수:
결론: 세 티커 기술 신호 표와 종합 판단을 완료형으로 작성.
근거: 사용한 가격 데이터 출처·기간·계산 지표 + 저장한 산출물 경로 + 조회 2026-09-16 HH:MM KST.
검증: RSI/MACD/이동평균 계산 명령 → 실제 반환값 3종 티커 모두 포함, exit code 0.
근거파일: 저장한 산출물 파일의 줄번호와 LQD/HYG/JNK 중 최소 1개 티커의 원문 1줄 인용.

Knowledge OS 운영 메모

재발행 지시문은 실패 사유를 설명하는 문장이 아니라 다음 실행자가 그대로 수행할 수 있는 작업 명세여야 한다. 필수 구성은 네 가지다. 첫째, 대상은 파일·티커·태스크 번호를 정확히 쓴다. 둘째, 실행 내용은 금지 사항과 저장 위치까지 쓴다. 셋째, 검증 기준은 명령·결과값·성공 조건을 한 줄에 묶는다. 넷째, 완료 보고 4블록은 지시문 안에 라벨 그대로 박아 둔다.

운영 기준: 재발행 본문에 corrected_body를 만들 때는 대상 / 실행 / 검증 기준 / 완료 보고 4블록 네 단락을 빠뜨리지 않는다. 산출물 파일을 요구하는 태스크는 저장 경로를 지시문에 선명하게 지정한다. 모델 실패형 태스크는 같은 지시를 반복하기보다, 실패 시 done 금지와 다음 재시도 조건을 같이 적는다.