AI缺内存,谷歌开始拆机房了
内存取代算力成为AI最大瓶颈:谷歌拆退役服务器回收DDR4救急,英伟达给Rubin Ultra砍HBM规格,省下的钱流向Scale-up网络。本文拆解AI硬件价值重心从单卡堆料向系统级互联迁移的产业逻辑。
当谷歌供应链基础设施高级总监尼基尔·切里安在行业峰会上说出"我们开始拆退役服务器、回收DDR4"时,会场安静了几秒。
这不丢人。这恰恰是当下AI产业最真实的注脚:瓶颈已经不是算力,而是内存。当一家市值万亿美元的巨头开始像二手回收商一样从旧机柜里抠内存条,你就该明白,DRAM市场出了大问题。
本文想讲清楚三件事:内存是怎么把AI服务器成本结构搅乱的;英伟达为什么要主动给旗舰产品降配;以及被内存省下来的钱,最终流向了哪里。
💸 内存吃掉75%:AI服务器的成本结构彻底变形了
一句话:过去堆GPU,现在堆内存。
切里安给出的数字很直白:在典型的AI服务器里,高性能内存的物料清单(BOM)成本占比已经高达约75%。四分之三的成本压在内存上,这在十年前是不可想象的——那个年代服务器采购的成本大头是CPU和硬盘。
变化是怎么发生的?逻辑链条其实很短:
- 大模型推理时代,KV缓存、激活值、权重全部要驻留在高带宽内存里;
- HBM产能有限,供需失衡后价格一路上扬;
- GPU本身制程和封装在进步,但内存扩容的速度跟不上算力的扩张速度。
于是内存从"配角"变成了"主角",从成本项变成了瓶颈项。切里安的判断很明确:AI产业的核心瓶颈已由"算力不足"转变为"内存受限"。
SemiAnalysis对英伟达的拆解也印证了这一点:在HBM和DRAM价格上涨之后,内存已占据Rubin Ultra产品总成本的约40%。谷歌和英伟达,一个是自研TPU路线,一个是GPU霸主,殊途同归地被同一块内存卡住了脖子。
据多位接近产业链的人士透露,头部云厂商内部已经把"内存可得性"列为和新GPU供应同级别的跟踪指标——这在两年前是不可想象的优先级。
| 服务器时代 | 成本大头 | 当前地位 |
|---|---|---|
| 传统服务器 | CPU、存储盘 | 内存是常规配件 |
| 早期AI服务器 | GPU | HBM随卡附赠 |
| 当前AI服务器 | 高性能内存(BOM占比约75%,谷歌口径) | 制约性能与成本的关键因素 |
🔧 拆旧服务器抠内存条:谷歌的"抠门"反而值得抄作业
一句话:最先进的AI公司,用最土的办法解决最贵的瓶颈。
谷歌的做法具体到近乎粗暴:把退役服务器重新调回机房,拆解,把还能用的DDR4内存模组回收出来,重新投入AI算力扩张。这不是临时起意,而是建立了一套内部循环利用的供应链体系。
更值得玩味的是另一处细节:在某些应用场景中,谷歌甚至用DDR4模组替代了新型AI服务器原计划搭载的DDR5。为了实现这种"降级兼容",公司专门设计了硬件转接卡,让上一代内存方案能够接入新一代AI服务器系统。
想象一下这个画面:机房里最新的AI服务器,主板上插着一块转接卡,卡上是几根从退役机器上拆下来的DDR4。这不是段子,这是2026年头部云厂商的日常。
但谷歌并没有在关键路径上摆烂。在面向推理任务优化的TPUv8i芯片上,谷歌构建了专用分层存储体系:整机层面依托高速DDR5做数据预处理,每颗TPUv8i芯片配备288GB HBM3e高带宽内存,兼顾容量与带宽。软件层面则持续调整底层函数库、模型架构及KV缓存压缩算法,压低单位算力下的内存开销。
这背后的产业逻辑是:当高端内存成为稀缺资源,企业会被迫做"内存的精细化运营"——能省则省,能回收则回收,能用软件压则用软件压。硬件转接卡这种"工程补丁",本质上是内存短缺倒逼出来的系统级创新。
对产业链的启示很直接:二手服务器内存回收,正在从一个边缘生意变成一门正经生意。当谷歌亲自下场建内部循环体系,DDR4这类"老内存"的残值逻辑被彻底改写。
📉 Rubin Ultra降配:HBM砍半,省下的钱去哪了
一句话:英伟达不是买不起HBM,是买到的HBM不够分。
SemiAnalysis的报告披露了一个关键动作:英伟达已降低Rubin Ultra的HBM显存规格,从HBM4E 12-Hi(384GB)降至HBM4 8-Hi(192GB),三星电子正配合其要求开发8层HBM产品。单卡显存直接砍半。
TrendForce集邦咨询的研报提供了旁证:自2026年第三季起,英伟达对Rubin Ultra的HBM配置已从HBM4e 12hi改为并行评估HBM4e 8hi、HBM4 12hi、HBM4 8hi等多种设计。而且这不是英伟达一家的行为——部分云端服务供应商(CSP)也在考虑调降下一代自研ASIC的HBM容量设计。
降配的经济账算下来相当可观:HBM成本降低了50%以上;即使考虑2026年HBM价格上涨的预期,内存成本占总资本成本的比例也将从40%降至28%。
但故事的关键在后半句:这部分支出并不会消失,而是被重新分配到纵向扩展网络(Scale-up Networking)。
从NVL576 NPO SKU来看,随着光模块取代机架间互连,纵向扩展网络成本占机架总支出的比例从4%增长到12%,增长了两倍。
| 维度 | 降配前 | 降配后 | 变化 |
|---|---|---|---|
| 单卡HBM规格 | HBM4E 12-Hi | HBM4 8-Hi | 384GB降至192GB |
| 内存占资本成本 | 约40% | 约28% | 下降 |
| Scale-up网络占机架成本 | 4% | 12% | 增长两倍 |
一句话概括这个操作:单卡显存砍半,靠更大规模的集群互联把性能缺口补回来。这是典型的"系统换器件"——不再单点堆料,而是用网络把成千上万张卡缝合成一台逻辑上的大机器。
🔀 价值迁移:钱从HBM流向了光与铜
一句话:AI硬件的价值重心,正从芯片内部搬到机柜之间。
英伟达降配HBM、转向更大规模集群互联之后,产业链的连锁反应已经开始。国金证券对Rubin Ultra路线的探讨指出:Rubin Ultra NVL576原定2027年下半年推出,Kyber机架存在制造延期传闻,平台功耗密度与互联复杂度大幅抬升,倒逼底层互连材料升级,PTFE混压成为Rubin Ultra的潜在路线之一。
更值得关注的是光互连。由于NVL576服务器必须突破传统铜线网络在长距离信号传输上的局限,将引入CPO(共封装光学)技术。AI集群规模扩大、信号传输速率提升,CPO在功耗、成本、低损耗上的优势变得明确,而供给端的CPO供应链也在逐渐成熟,有望迎来加速渗透。
华泰证券的判断更宏观:产品代际迭代正在把价值创造从单芯片性能外溢至网络、机柜与系统集成,超节点和AI工厂的系统级交付能力将更为关键。随着单通道速率持续提升,机柜内外的传输距离、功耗和可靠性约束更加突出,光互连向Scale-up域渗透的路径正在清晰化。
把这几条线索串起来,就是一张清晰的价值迁移地图:
对设备与材料厂商来说,这是好消息:CPO、光模块、高性能基板、低损耗材料,都站在了价值迁移的下风口。对HBM厂商来说则喜忧参半——单卡容量需求被压低,但英伟达并行评估的多种设计、以及三星配合开发8层HBM的动作说明,订单还在,只是规格和节奏变了。
⚠️ 博通电话会上的那一问:这账到底怎么算
一句话:大 numbers 很漂亮,但有人开始对账了。
博通CEO Hock Tan在2026年Q3财报电话会上给出的图景同样宏大:1GW Ironwood;2027年Anthropic追加5GW TPU v8;AI收入翻倍至1150亿美元;2028年再增10GW,半导体收入达2300亿。每GW算力可创300亿ARR,商业模式强劲。
不过电话会上有分析师直言质疑:"按照你给的数据,你单价卖得比英伟达便宜那么多,这账到底怎么算出来的?"
这一问其实问到了点子上。把博通、谷歌、英伟达三家放在同一张桌子上看:谷歌在拆旧服务器抠DDR4,英伟达在给HBM降规格,博通在讲GW级的TPU扩张叙事——它们面对的是同一个内存紧约束的世界。任何一家给出的收入或成本模型,都必须回答"内存从哪来、内存多贵、内存瓶颈怎么解"这三问。
GW级订单叙事和内存降配现实之间的张力,恰恰说明:AI基础设施的商业模式验证,正在从"算力卖得动吗"转向"内存供得起吗、系统攒得起来吗"。这也解释了为什么英伟达宁可砍旗舰显存也要把预算挪给网络——系统级方案的可交付性,比单卡参数更能决定账能不能算平。
小结:内存之年,系统为王
回头看这组素材:谷歌拆机房回收DDR4,是内存短缺下的极限自救;英伟达砍HBM规格转投Scale-up网络,是短缺下的主动取舍;博通被追问GW叙事的账本,是市场对系统级交付能力的逼问。三件事一个内核——AI产业的稀缺资源已经从GPU转移到了内存,而应对之道正在从单点堆料转向系统级重构。
往前看,值得盯三个信号:HBM降配是否成为CSP自研ASIC的普遍选择;CPO与光互连在Scale-up域的渗透速度;以及谷歌式"内存循环利用"会不会成为头部云厂商的标配操作。内存之年,赢家未必是囤内存最多的人,而是把每一GB用在刀刃上的人。