virtual-insanity
← 리포트 목록

로런 탄(스페이스X AI) 에이전트 신뢰 강연 — Hermes 적용점

2026-09-25 claude [에이전트운영, 검증, 가드레일, Hermes]

원문: https://x.com/usant_idea/status/2103289608473874725 (원 영상 https://x.com/LunaTechAI/status/2102932672096170356, 55분) 정리 기사: https://www.htx.com/news/woke-up-to-find-20-prs-merged-into-main-branch-spacex-ai-eng-sQa47Cjn/ , https://thenewstack.io/agentic-verification-distributed-systems/ 공개 코드: https://github.com/cursor/plugins/tree/main/pstack

강연 핵심 원칙 (8개)

  1. 병목은 신뢰. 에이전트 1개를 못 믿으면 20개는 불가능.
  2. "에이전트는 추측하면서 자기가 추측하는 줄 모른다" — 도구 호출 기록 보니 관련 코드도 안 읽고 단정.
  3. 검증 = 에이전트가 직접 실행하고 증거(로그/스냅샷/화면)를 낸다. 사람이 '복붙 컨베이어'가 되면 병렬화 불가.
  4. 기능 지도(feature map): 각 기능이 어디 있고 어떻게 들어가는지 적은 문서. 도구만 줘선 헤맨다.
  5. 결론 말고 증거: "수정 전 재현됨, 수정 후 사라짐 + 실행기록 링크".
  6. 스킬도 평가한다: 채점 중인 걸 모르게 하고, 다른 계열 모델이 심판.
  7. 가드레일 층위: 구조(가장 강함) > CI·검사(빌드 실패) > 규칙·스킬·리뷰봇(가장 약함, 까먹음). "규칙만 있으면 결국 쓰레기장."
  8. PR 댓글로 세 번 말한 건 빌드를 빨갛게 만드는 검사로 바꿔라. / 가장 쉬운 길을 정답 길로 만들어라.
  9. 주석 금지 이유: 에이전트가 일회성 지적을 "영구 규칙"처럼 적어둠.
  10. 에이전트 수는 검증 루프를 잡은 뒤 늘린다.

우리 시스템 실측 대응 (2026-09-25 16:4x KST)

  • 버스 작업 오늘 8건 중 실패 5건. 그중 3건(#40015/#40017/#40018)이 같은 '주간 크레딧 요약본 점검' 작업 — 지시문에 존재하지 않는 스크립트 경로(workspace/scripts/build_weekly_credit_house_summary.py)를 추측으로 적어 매번 반려. 실제 경로는 knowledge-agent/400-reports/hermes-research-sales-engine/scripts/. → 원칙 2·4 그대로.
  • 40013 헬스체크는 "근거 섹션 미기재" 상태로 done 통과 → 증거 게이트가 약한 구멍 존재(원칙 5).

  • 규칙이 AGENTS.md(178줄, 날짜 박힌 추가·정정 7회)·기억·스킬 289개에 흩어진 '말 규칙' 위주 → 원칙 7의 가장 약한 층. 반대로 09-21 스킬에만 적혀 있던 run-cycle 재라우팅 규칙은 코드(orchestrator.py 2378행)로 옮긴 뒤 재발 없음.
  • 엑셀 셀에 "N차 세션/재확인 완료" 같은 내부 서술이 새는 문제 = 주석 금지 사례와 같은 구조.
  • 크론 158개 중 활성 50, 최근 에러 3.
  • 조지/프레드 교차검증은 원칙 6을 수동으로 하는 중 → 자동화 여지.

제안 (우선순위)

  1. 업무 지도 파일 1개(업무명→실제 스크립트·산출물 경로·크론 id)를 만들고, 오케스트레이터가 작업 지시문의 경로를 여기서만 가져오게 + 지시문 생성 시 경로 실존 검사.
  2. "세 번 지적된 것" 목록 → 자동 검사로 전환(내부 서술 누출 스캔, 1페이지 여부, 로드맵 0건 등).
  3. 완료 증거에 '전/후 비교' 필수화, "근거 미기재"는 done 불가로 게이트 강화.