DualPath·NAND가 중요한 이유 — 네오클라우드 함의 (2026-06-19)
출처 글: 사피엔스에셋(네이버 프리미엄) 「NAND가 중요한 이유 'DualPath'」(2026-06-19, 글쓴이 올바른). 딥시크+베이징대+칭화대 논문 DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference(2026-02-26) 해설. 용어: KV캐시=과거 토큰의 어텐션 계산 저장본(다시 계산 안 하려 저장) / PE·DE=Prefill엔진·Decode엔진(추론 앞단·뒷단 분리) / SNIC=저장 네트워크 카드 / goodput=실제 쓸모있게 처리된 비율(가동률 정밀판).
결론 먼저
DualPath의 메시지 = 에이전트형 AI 추론에서 병목이 GPU 연산(FLOPS)이 아니라 "KV캐시를 저장장치에서 꺼내오는 I/O"로 이동. 해법은 ①놀던 Decode엔진 저장통로까지 동원해 GPU 가동률 40%→80% ②비싼 HBM/DRAM 대신 싼 SSD/낸드 외부스토리지 적극 활용 ③InfiniBand QoS + 동적 스케줄러. → NAND 수요가 구조적으로 따라오고, 스토리지·네트워크·소프트웨어를 통합 최적화한 추론 중심 네오클라우드가 수혜.
네오클라우드 1차 증거 대입 결과 두 축으로 갈림: - Nebius(NBIS) = DualPath의 종착점(KV캐시 재사용·추론 경제성)을 제품에 직접 구현한 곳. - CoreWeave(CRWV) = DualPath의 토대(스토리지 인프라·가동률·네트워크)가 가장 두터운 곳, KV캐시 자체역량은 투자·파트너십으로 우회.
DualPath 논리 사슬 (글 요지)
- 에이전트 추론은 매 턴 과거 전체를 다시 불러옴. 딥시크 실측: 코딩에이전트 평균 157턴·컨텍스트 32.7K토큰, KV캐시 hit rate 98.7% → 계산은 거의 안 하고 "꺼내오기"가 병목.
- 하드웨어가 거꾸로: GPU 연산 28.8배↑ 동안 PCIe 2.0배·HBM 2.4배 → I/O 대비 연산비 14.4배 벌어짐 → GPU 가동률 40%.
- 메모리 4계급: HBM(0.02초)→DRAM(수초)→낸드/SSD(1분)→HDD(1시간). 대규모 서빙에서 KV캐시 전부 DRAM은 너무 비쌈.
- DualPath = 놀던 DE쪽 저장통로 동원(가동률 40→80%) + InfiniBand 가상레인 QoS(모델통신 99%/KV캐시 1%) + 적응형 스케줄러. 코드 5천줄, 오프라인 1.87배·온라인 평균 1.96배.
- 처방: 비싼 DRAM 대신 GB당 싼 SSD를 외부스토리지로(딥시크 노드당 DRAM 80GB vs 비교군 1.5TB, 약 19배 차이). 같은 맥락 = 엔비디아 Context Memory Storage(Vera Rubin Pod), 애플 AFM-3 낸드 추론, 딥시크 Engram.
사피엔스 "네오클라우드 BIG4" (글 기준 — 통설과 다름)
사피엔스 「GPU 임대의 경제학, 네오클라우드 BIG4 비교」(2026-02-10) 도입부 명시: 오라클(ORCL)·코어위브(CRWV)·네비우스(NBIS)·아이렌(IREN). 시중 통설(CoreWeave/Nebius/Crusoe/Lambda)과 달리 Crusoe·Lambda를 빼고 상장 대형주(오라클)+채굴전환주(아이렌)를 넣음. 본문은 페이월(원문 contents.premium.naver.com/sapiens/sapiensasset/contents/260210200412609zh).
네오클라우드 5기준 매핑 (6/17 해자대결 + 스토리지 1차조사)
판별 기준: ①추론 서빙 ②낸드/SSD 스토리지 ③저장네트워크·패브릭 QoS ④자체 SW스택 ⑤가동률·자본효율.
| 기준 | 우위 | 1차 근거 |
|---|---|---|
| KV캐시 재사용(DualPath 본질) | Nebius | Token Factory "KV캐시가 가장 강력한 경제 레버" 명시, 캐시히트율 5%→50~60%, 4배 비용절감(회사주장), cache-aware 라우팅, Eigen AI(2026.3) KV캐시 최적화 흡수 |
| 추론 서빙 경제성 | Nebius | Artificial Analysis 독립벤치 비용-성능 3배 우위(회사인용), 최저가권 $0.08~ |
| 스토리지 인프라 두께 | CoreWeave | VAST Data $11.7억 계약(2025.11, primary data foundation), 4층(CAIOS+LOTA 자체/VAST/WEKA·DDN·Pure/로컬NVMe 노드당 60TB) |
| 저장네트워크·패브릭 | 혼전 | CRWV: GPUDirect Storage+GB300 NVL72 최초+IB·SHARP. NBIS: NVMe-oF+SPDK+RDMA로 스토리지→GPU 직결, GPU당 400Gbps |
| 가동률(goodput) | CoreWeave | goodput 96%(자체주장), ClusterMAX 유일 Platinum 2회. NBIS는 Gold |
| 자체 SW·통합설계 | 갈림 | NBIS=서버~네트워크 자체설계+추론엔진. CRWV=쿠버네티스+SUNK 스케줄러, KV캐시는 Tensormesh($20M 투자)·llm-d·LMCache 생태계로 우회 |
기업별
Nebius (NBIS) — DualPath "종착점" 직접 구현
- KV캐시를 비용의 핵심 레버로 명시하고 제품(Token Factory)에 cache-aware 라우팅 박음. 히트율 5→60%, 대화형 4배 절감 주장. Eigen AI 인수로 KV캐시 최적화+희소성 기법 흡수. LMCache·호스트 오프로딩 탐색.
- 자체 Shared Filesystem(전NVMe, 읽기 987GB/s) + Object Storage(자체) + WEKA/VAST/DDN(외부) 하이브리드. NVMe-oF+RDMA 직결.
- 한계: 외부 노출형 "프롬프트 캐싱 가격제"는 미구현(고객요청 단계, 본인 "비용 열위" 자인). HBM→DRAM→SSD→HDD 명시적 4계층 매핑·GPUDirect Storage(GDS) 정식지원 미확인. 밸류 매출 대비 ~20배(최고가).
CoreWeave (CRWV) — DualPath "토대" 최강, KV캐시는 우회
- 스토리지 4층 + VAST $11.7억 + 로컬NVMe 60TB + GPUDirect Storage. goodput 96%·ClusterMAX Platinum 2회 = 가동률·신뢰성 실측 1위.
- KV캐시 재사용은 자체 제품 아님 → Tensormesh($20M 투자, LMCache 창립자), Red Hat llm-d 파트너, Tensorizer(모델로딩), LOTA(데이터셋 캐싱)로 생태계 베팅. 공동창업자 "KV캐싱이 가장 결정적이고 덜 탐구된 기회".
- 한계: 추론 서비스 자체 약함(학습·범용 임대 중심), 부채비율 738%·이자 매출 26%. KV캐시 1급 기능 직접 구현 미확인.
그 외
- IREN: 사피엔스 BIG4지만 전력 원가우위(2.9¢/kWh) 중심, 매출 77% 채굴, 추론·스토리지 스택 백지. DualPath 수혜는 토대(전력)만.
- Oracle(ORCL): BIG4지만 본 분석 1차조사 범위 밖. 스타게이트 등 하이퍼스케일 추론 인프라 별도 추적 필요.
- DigitalOcean(DOCN): 추론 운영체제 포지션(앞선 [[260531_DOCN_추론인프라프레임_리밸류]]), 흑자형. 6/17 해자대결·이번 1차조사 범위 밖(중소형 별도 트랙).
미확인 (정직)
- 양사 모두 KV캐시 HBM→DRAM→SSD→HDD 4계층 매핑·버퍼크기는 정성서술만, 정량 미공개.
- CRWV의 KV캐시 1급 기능 직접 구현 여부(투자·파트너십은 간접증거).
- NBIS의 GPU노드당 로컬NVMe 용량, GDS 정식지원.
- goodput 96%(CRWV)·4배 절감(NBIS)은 회사 자체주장, 제3자 검증 미확보.
- 사피엔스 BIG4 글 본문(4사별 데이터센터당 수익 수치 등)은 페이월 안.
추적 포인트
- 양사 어닝콜에서 "추론 매출 비중", KV캐시·프롬프트 캐싱 가격제 도입 여부.
- 엔비디아 Vera Rubin Pod G3.5 Context Memory Storage(SSD-GPU 직결) 상용화 일정 → DualPath 하드웨어화.
- 낸드 계약가 추이(2Q26 +70~75% 폭등 중) → 네오클라우드 SSD 조달비.
- Nebius 프롬프트 캐싱 가격제 출시(현재 비용 열위 자인 → 해소 시 추론 경쟁력).
출처
- 사피엔스 6/19 글(볼트:
100 수신함/120 지식사랑방/124 nepcon/2026-06-19/260619145639559nl.md), BIG4 글 도입부(260210200412609zh) - CoreWeave: VAST $11.7억(Blocks&Files/SiliconANGLE 2025.11), CAIOS/LOTA·로컬NVMe(coreweave.com docs), Tensormesh $20M(Tech Startups 2026.5), ClusterMAX Platinum(CoreWeave IR)
- Nebius: Token Factory KV캐시(nebius.com/blog "invisible architecture"), Eigen AI 파트너십(nebius.com/blog), Shared Filesystem(nebius.com/services/storage), Artificial Analysis(artificialanalysis.ai/providers/nebius)
- 전 세션 분석: 6/17 Nebius vs CoreWeave 해자대결(워크플로우 wf_8bb34140), 6/15 사피엔스 참고 재분석
claude-code 분석. 투자 권유 아님. 회사 주장 수치는 독립검증 아님.