谷歌拆解退役服务器的 DDR4 内存模组，重新部署至新型 AI 服务器
📌 概要
DRAM供应持续吃紧，AI产业已从算力受限转向内存受限，高性能内存约占AI服务器物料成本75%。谷歌为突破内存瓶颈，软硬件两端发力：拆解退役服务器回收DDR4内存，设计专用转接卡将其重新部署至新型AI服务器，替代原规划的DDR5，同时优化KV缓存压缩等算法降低内存开销。
⚡ 关键要点
- ▸AI产业由算力受限转变为内存受限，高性能内存约占AI服务器物料成本75%
- ▸谷歌拆解退役服务器回收DDR4内存，设计转接卡重新部署至新型AI服务器以替代DDR5
- ▸谷歌同时从软件端优化函数库、模型架构和KV缓存压缩算法，降低单位算力内存开销
IT之家 9 月 2 日消息，据 Wccftech 报道，DRAM 领域的供应持续吃紧，迫使 AI 服务商不得不各出奇招，只为抢购极度紧缺的内存资源。
谷歌供应链基础设施高级总监尼基尔 · 切里安（Nikhil Cherian）近日在出席峰会论坛时透露，人工智能产业已迅速由“算力受限”转变为“内存受限”。在单台典型的 AI 服务器中，高性能内存占其物料清单的成本比例已高达约 75%。
切里安表示，为了“突破内存瓶颈，谷歌正同时从软件和硬件两端协同发力”。为此，谷歌甚至拆解了退役服务器以回收尚具利用价值的元器件，从而构建出一套内部循环利用的供应链体系。
在某些应用场景下，谷歌似乎已被迫妥协 —— 不得不重新采用规格较旧的 DDR4 内存模组，以替代其新型 AI 服务器原本规划的 DDR5 模组。
事实上，谷歌设计了专用的硬件转接卡，使得 DDR4 等上一代内存方案能够接入其新一代 AI 服务器。切里安坦言，谷歌正是特意将这批退役服务器调回机房，目的就是拆解并回收其中的 DDR4 内存模组。
IT之家注：为模型推理任务进行针对性优化的 TPU8i 芯片采用专用分层存储体系，在整机层面依托高速 DDR5 内存体系结构，专门负责处理数据预处理等任务。此外，每颗 TPU 8i 芯片均搭载 288 GB 的 HBM3e 高带宽内存。
与此同时，这家科技巨头还在持续优化底层函数库、模型架构以及 KV 缓存压缩算法，竭力降低单位算力下的内存开销。