SemiAnalysis) 엔비디아 – 추론 왕국의 확장 1. 엔비디아의 Groq 인수와 LPU 전략 엔비디아는 규제 당국의 반독점 조사를 피하면서도 기술과 인력을 즉시 확보하기 위해 Groq에 200억 달러(약 27조 원)를 지불하고 IP 라이선스 및 핵심 인력을 흡수했습니다. LPU (Language Processing Unit): SRAM 기반의 결정론적(Deterministic) 아키텍처로, 지연 시간(Latency)이 매우 낮아 토큰 생성 속도가 압도적입니다. LP30 (Groq 3) 칩 : 삼성의 SF4(4nm) 공정에서 생산되며, 500MB의 온칩 SRAM을 탑재했습니다. HBM을 사용하지 않아 공급망 제약에서 자유롭다는 장점이 있습니다. LP40 (차세대) : TSMC N3P 공정과 CoWoS-R 패키징을 사용하며, 엔비디아의 NVLink를 지원하게 됩니다. 2. AFD (Attention FFN Disaggregation) 기술 엔비디아는 추론 효율을 높이기 위해 모델의 연산을 분산하는 AFD 기술을 도입했습니다. Attention(어텐션) → GPU 담당 : KV 캐시 로딩 등 메모리 집약적인 작업에 최적화된 GPU가 처리합니다. FFN(Feed Forward Network) → LPU 담당: 계산이 고정적이고 지연 시간에 민감한 FFN 연산을 LPU에 할당합니다. 핑퐁 파이프라인(Ping Pong Pipeline ): 데이터가 GPU와 LPU 사이를 오가며 통신 지연을 숨기고 처리량을 극대화합니다. 3. 차세대 랙 시스템: LPX, Rubin, Feynman 엔비디아는 구리(Copper) 연결의 한계를 극복하고 광학(Optics) 기술을 단계적으로 도입하는 로드맵을 공개했습니다. LPX 랙 시스템 Groq의 기술을 통합한 추론 전용 랙입니다. 구성: 32개의 1U 컴퓨팅 트레이, 총 256개의 LPU 탑재. 특징: FPGA를 "패브릭 확장 로직"으로 사용하여 LPU 간 통신 및 CPU 연결을 관리합니다. 엔비디아 CPO(광학 공정) 로드맵 "구리를 쓸 수 있는 곳엔 구리를, 어쩔 수 없는 곳엔 광학을(Copper where they can, optics where they must)"이라는 원칙을 고수합니다. Rubin (NVL72): 랙 내부 전체 구리 연결. Rubin Ultra (NVL576): 8개의 랙을 연결할 때 CPO(Co-Packaged Optics) 기술을 최초로 도입. Feynman (NVL1152): 엔비디아의 차세대 야심작. A16 공정, Hybrid Bonding(SoIC), 커스텀 HBM, CPO가 모두 적용됩니다. 4. 컴퓨팅 및 스토리지 혁신: Vera & CMX 추론 성능이 올라감에 따라 CPU와 스토리지 병목 현상을 해결하기 위한 솔루션입니다. Vera ETL256 액체 냉각 방식을 사용하여 한 랙에 256개의 CPU를 밀집시킨 고성능 CPU 랙입니다. 강화학습(RL)이나 데이터 전처리 등 GPU를 보조하는 CPU 수요가 급증함에 따라 설계되었습니다. CMX & STX (스토리지 플랫폼) CMX (Context Memory Storage): 거대 모델의 긴 컨텍스트(Long-context) 처리를 위해 KV 캐시를 NVMe 스토리지에 저장하는 기술입니다. STX: BlueField-4 DPU를 기반으로 한 참조 스토리지 랙 아키텍처로, 클러스터 전체의 데이터 흐름을 최적화합니다. - 엔비디아는 단순한 GPU 제조사를 넘어 추론용 칩(LPU), 고밀도 CPU(Vera), 지능형 스토리지(CMX)를 모두 아우르는 전방위적 인프라 기업으로 진화하고 있습니다. 특히 Groq의 저지연 기술을 흡수함으로써 실시간 AI 서비스 시장에서의 지배력을 더욱 공고히 할 것으로 보입니다. https://newsletter.semianalysis.com/p/nvidia-the-inference-kingdom-expands?img=https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff5522a45-77c1-40f8-94c0-395f272b8db1_2709x1815.png&open=false
GTC 2026 – The Inference Kingdom Expands
SubscribeSign in{"@context":"https://schema.org","@type":"NewsArticle","url":"https://newsletter.semianalysis.com/p/nvidia-the-inference-kingdom-expands","mainEntityOfPage":"https://newsletter.semianalysis.com/p/nvidia-the-inference-kingdom-expands","headline":"GTC 2026 \u2013 The Inference Kingdom Expands","description":"Groq LP30, LPX Rack, Attention FFN Disaggregation, Oberon & Kyber Updates, Nvidia's CPO Roadmap, Vera ETL256, CMX & STX","image":[{"@type":"ImageObject","url":"https://substack-post-media.s3.amazonaws.com/public/images/3c04430f-0039-4084-85bb-697f877e33b3_2709x1815.png"}],"datePublished":"2026-03-24T00:27:46+00:00","dateModified":"2026-03-24T00:27:46+00:00","isAccessibleForFree":false,"author":[{"@type":"Person","name":"Dylan Patel","url":"https://substack.com/@semianalysis","description":"Bridging the gap between business and the worlds most important industry.","identifier":"user:21783302","sameAs":["https://twitter.com/dylan522p"],"image":{"@type":"ImageObject","contentUrl":"https://substackcdn.com/image/fetch/$s_!3uno!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fadcf9d53-769e-4d9e-8982-30c3dc8488dc_501x527.png","thumbnailUrl":"https://substackcdn.com/image/fetch/$s_!3uno!,w_128,h_128,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fadcf9d53-769e-4d9e-8982-30c3dc8488dc_501x527.png"}},{"@type":"Person","name":"Myron Xie","url":"https://substack.com/@myronxie","description":null,"identifier":"user:152214948","image":{"@type":"ImageObject","contentUrl":"https://substackcdn.com/image/fetch/$s_!PJ3s!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F986a1b9d-57ad-4d2d-9219-7d9778c02ff0_501x527.png","thumbnailUrl":"https://substackcdn.com/image/fetch/$s_!PJ3s!,w_128,h_128,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F986a1b9d-57ad-4d2d-9219-7d9778c02ff0_501x527.png"}},{"@type":"Person","name":"Daniel Nishball","url":"https://substack.com/@danielnishball730869","description":null,"identifier":"user:160965795","image":{"@type":"ImageObject","contentUrl":"https://substackcdn.com/image/fetch/$s_!Ivt-!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6782257b-0c3a-43af-a674-8a724ce563c7_501x527.png","thumbnailUrl":"https://substackcdn.com/image/fetch/$s_!Ivt-!,w_128,h_128,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6782257b-0c3a-43af-a674-8a724ce563c7_501x527.png"}},{"@type":"Person","name":"Gerald Wong","url":"https://substack.com/@geraldwong116502","description":"Call me Howie","identifier":"user:135179316","image":{"@type":"ImageObject","contentUrl":"https://substackcdn.com/image/fetch/$s_!sF8k!,f_auto,q_auto:good,fl_progressive:stee
출처: https://t.me/bornlupin/17179