DualPath — KV캐시 I/O 병목 해법 (2026-06-19)

논문: 딥시크+베이징대+칭화대 DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference(2026-02-26). 사피엔스에셋 해설 기반.

한 줄

분산 추론(Prefill엔진·Decode엔진 분리)에서 놀고 있던 Decode쪽 저장 통로(SNIC)까지 동원해 KV캐시 읽기 부담을 양쪽으로 분산 → GPU 가동률 40%→80%.

문제 구조

• 추론 서버는 PE(Prefill, 프롬프트 한꺼번에 읽기 — 연산집약, H100급) + DE(Decode, 토큰 하나씩 생성 — 메모리대역폭집약, A100급)로 분리(PD 분리).
• 기존엔 외부 스토리지에서 KV캐시 읽기를 PE만 함 → PE쪽 저장 NIC 100% 포화, DE쪽 저장 NIC 유휴 → GPU는 데이터 못 받아 가동률 40%.
• 하드웨어 역진화: GPU 연산 28.8배↑ 동안 PCIe 2.0배·HBM 2.4배 → I/O 대비 연산비 14.4배.

해법 3요소

1. DE의 저장 NIC 동원: DE가 KV캐시를 먼저 읽어 컴퓨트 네트워크(CNIC)로 PE에 넘기는 차선 추가.
2. InfiniBand 가상레인 QoS: 모든 트래픽을 InfiniBand 통하게 해 모델통신 99%(고우선)/KV캐시 1%(저우선)로 분리 — 모델실행 방해 없이 빈틈 활용. (PCIe는 QoS 미지원이라 우회) → 엔비디아 Spectrum-X/ConnectX-9·Vera Rubin Pod의 하드웨어화 추정.
3. 적응형 스케줄러: 요청마다 PE직독 vs DE경유 중 대기열 짧은 쪽 선택, GPU 부하·HBM 여유 함께 고려.
4. (보조) Layer-wise Prefill + Layer Block/Full Block 두 형식으로 잘게 쪼갠 KV캐시 효율 전송.

성과 (논문 주장)

• 오프라인 추론(RL trajectory 생성) 최대 1.87배(DS-V3.2 660B, Oracle 상한에 근접).
• 온라인 서빙 평균 1.96배, 동일 SLO에서 받는 부하 DS 27B 1.67배·660B 2.25배.
• 기여 분해: Layer-wise 17.2% → +DualPath Loading 38.2%(최대 도약) → +스케줄링 45.6%.
• 구현은 내부 프레임워크에 코드 5천줄 수정. 1,152 GPU(48P96D)에서도 입증.

함의

• 딥시크가 오픈소스로 공개했을 뿐, 미·중 프론티어 Labs 모두 유사 작업 중으로 추정.
• QoS·RDMA를 다루는 컴퓨트 패브릭(InfiniBand, Spectrum-X)의 전략적 가치 상승.
• KV캐시가 커질수록 HBM/DRAM만으론 부족 → SSD 기반 외부 스토리지 활용도가 곧 경쟁력 → [[260619_추론시대-메모리계층-NAND수요]].