데이터 신뢰성 보장용 휴먼-인-더-루프 설계

LLM이 추출한 정량 데이터의 품질 관리를 위해서는 자동화 검증 규칙(예: 지리범위 일관성, 시간·강도 상식 체크)과 함께 사람의 검토가 필요한 사례를 분리하는 플래그 체계가 필요하다. 실무적으로는 샘플링 기반의 라벨러 검토, 불확실성(모델 예측 신뢰도) 기준 초과 시 승인가절차, 그리고 피드백 루프를 통해 LLM 프롬프트/후처리 규칙을 지속 개선하는 시스템을 설계해야 한다. 운영 비용과 속도(실시간성) 트레이드오프를 명확히 정의해야 한다.

출처

• [[260312_globaletfi_18957_ref]] (원본 노트)