추론 시대의 메모리 계층과 NAND 수요 (2026-06-19)
출처: 사피엔스에셋 「NAND가 중요한 이유 'DualPath'」(2026-06-19). 개념 원자노트.
핵심
에이전트형 AI 추론으로 갈수록 연산보다 "과거 계산 저장본(KV캐시)을 꺼내오는 I/O"가 병목 → 비싼 HBM/DRAM만으론 감당 불가 → 싼 낸드/SSD를 외부 스토리지로 쓰는 수요가 구조적으로 발생. "메모리 벽" 해소의 한 축이 낸드.
메모리 4계층 (drain time = 전체 읽는 시간)
| 계층 | 속도(drain) | 비용/용량 | 역할 |
|---|---|---|---|
| HBM | 0.02초(20ms) | 비쌈/작음 | GPU 연산용 |
| DDR(DRAM) | 수 초 | 중간 | CPU 메모리 |
| NAND/SSD | 1분 | 쌈/대용량 | KV캐시 외부 백킹 |
| HDD | 1시간 | 최저 | 콜드 |
왜 낸드인가 — 메커니즘
- KV캐시 hit rate가 매우 높음: 딥시크 코딩에이전트 실측 98.7% (평균 157턴, 컨텍스트 32.7K, 턴당 신규 429토큰). → 계산은 덜 하고 "꺼내오기"가 일.
- Cache-compute Ratio(1PFLOP 연산당 읽어야 할 KV캐시 GB): DeepSeek-V3.2 22, GPT-oss-120B 47~95, Qwen2.5-32B 117~267. 연산 대비 막대한 스토리지 대역폭 부담.
- MoE·sparse attention로 연산을 아낄수록 I/O 부담은 그대로 → Cache-compute Ratio 오히려 상승. 즉 모델이 효율화될수록 낸드 의존이 커지는 역설.
- 대규모 온라인 서빙에서 KV캐시 전부 DRAM은 너무 비쌈 → SSD 백킹이 경제적 정답(딥시크 노드당 DRAM 80GB vs 비교군 1.5TB).
같은 방향의 업계 움직임 (글이 묶은 사례)
- 엔비디아 Context Memory Storage(CES 2026, Vera Rubin Pod G3.5 — SSD-GPU 직결)
- 애플 AFM-3 낸드 활용 MoE 추론구조(2026.06.08)
- 딥시크 Engram(2026.01.12), 엔비디아 KVTC(2026.02.06), 딥시크 DualPath(2026.02.26)
- SanDisk HBF(고대역폭 플래시, 낸드를 HBM처럼 16층 적층) — [[260531_SanDisk_HBF_고대역폭플래시]]
가격 동향 (수요 폭증의 증거)
- 낸드 계약가 2Q26 분기 대비 +70~75%, 기업용 SSD(eSSD) 1Q26 +53~58%. AI GPU 1장당 약 16TB, 서버랙 1대당 약 1,152TB(1.15PB). 증설은 2027말~2028까지 제한, 고밀도 제품 수개월치 매진. (출처: TrendForce, Tom's Hardware 2026.6)
한계
- 위 수치 일부는 논문/제조사 시뮬·주장(독립검증 아님). HBF는 샘플 단계(상용화 2027 목표).