英伟达推全栈协同设计缓解AI内存压力
热点事件历史事件
英伟达推全栈协同设计缓解AI内存压力
2 篇报道2 个报道来源6 天前更新
先了解这件事
AI 综述
英伟达发布全栈协同设计（full-stack codesign）方案，称通过优化模型权重、KV缓存和RAG数据的内存占用，缓解AI推理的HBM压力，而非单纯堆叠HBM容量。 英伟达称，从Blackwell Ultra到Vera Rubin平台，每GPU的HBM容量仅增约3%，但在SemiAnalysis AgentX上每美元智能体吞吐量最高提升30倍；在每用户每秒125 token的条件下，Vera Rubin NVL72每美元吞吐量最高为GB300 NVL72的30倍。 这一方案针对的是大模型、长上下文和智能体应用推高GPU内存需求、同时HBM供应趋紧且价格上涨的背景，英伟达预计该趋势短期内将持续。
AI 根据报道生成 · 6 天前更新
最新进展11月6日 00:07
英伟达详解AI内存全栈协同设计：HBM容量仅增3%，Agent吞吐量/美元最高提升30倍报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- Google新闻 · HBM/光刻/封装英伟达详解AI内存全栈协同设计：HBM容量仅增3%，Agent吞吐量/美元最高提升30倍
英伟达详解AI内存全栈协同设计，在HBM容量仅增3%的条件下，Agent吞吐量/美元最高提升30倍。该方案强调内存与计算的全栈协同优化，而非单纯堆叠HBM容量。
- NVIDIA NewsroomNVIDIA 全栈协同设计如何应对 AI 内存挑战：从 Blackwell Ultra 到 Vera Rubin
NVIDIA 详解其全栈协同设计如何缓解 AI 内存压力：从 Blackwell Ultra 到 Vera Rubin 平台，每 GPU 的 HBM 容量仅增约 3%，而在 SemiAnalysis AgentX 上每美元智能体吞吐量最高提升 30 倍。