LLM 파이프라인 설계: 뉴스→구조화→수치화 워크플로

구체적 워크플로는 원문 수집(크롤링/아카이브) → 전처리(노이즈 제거·중복 제거) → LLM에 질의해 사건·위치·시간·영향(예: 침수 범위 등) 엔티티 추출 → 표준 형식(예: GeoJSON, 시간스탬프 포함 CSV)으로 변환 → 검증/라벨링(크로스체크·휴먼 인 더 루프) → 모델 학습용 데이터 파이프라인에 적재하는 흐름이다. 구현상 고려사항은 LLM 질의 템플릿 설계, 추출된 값의 신뢰도 스코어링, 지리좌표 정규화, 오류 전파를 막는 검증 레이어, 배치·스트리밍 적재 전략 등이다.

출처

• [[260312_globaletfi_18957_ref]] (원본 노트)