HBM的护城河，被一块3D堆叠的DRAM凿穿了？

当d-Matrix在Hot Chips 2026的讲台上亮出Raptor加速卡的实测数据时，会场安静了几秒——单卡带宽超过100TB/s，每GB/s功耗仅为HBM方案的1/13.5。这不是PPT上的理论峰值，而是垂直IO实测数字。核心判断先行：HBM并非一夜之间被替代，但推理市场第一次出现了一条从架构层面绕开HBM的技术路线，内存与计算的物理距离，正在从毫米级被压缩到微米级。

🔥 Hot Chips现场：把DRAM摁到逻辑芯片底下

Hot Chips历来是架构创新的秀场，但今年的最大声量来自一家做推理芯片的初创。d-Matrix展示的Raptor，架构描述起来只有一句话：把3D-DRAM直接堆在计算芯片下面，面对面连接。

具体拆开看，Raptor的逻辑裸片采用台积电N4工艺，其上通过3D堆叠方式直接键合3D-DRAM裸片。一颗chiplet提供4GB内存和约12.5TB/s带宽，8颗chiplet组成一张完整加速卡——合计32GB内存、100TB/s以上的带宽。

这个架构的巧妙之处在于对物理距离的理解。传统方案里，GPU和HBM隔着中介层、基板、走线，信号每多走一毫米，功耗和延迟就多付一分。而面对面堆叠把连接距离压到微米级，数据不再需要'长途旅行'。

产业逻辑很清晰：过去十年，芯片行业靠先进制程解决算力问题，靠HBM解决带宽问题，两者是并行推进的两条线。Raptor把这两条线拧成了一条——内存不再是挂在计算芯片旁边的'外设'，而是计算芯片身体的一部分。这不是改良，是换赛道。

📊 数字摆上台面：三重数量级差距

金句开场：在半导体行业，10%的领先靠优化，数量级的领先靠换架构。

把Raptor和HBM4方案的公开数据放在一张表里，差距一目了然：

四项带宽与能效指标全面碾压，但最后一行暴露了软肋——容量。32GB对192GB，Raptor在'装得下多少'这件事上被HBM4大幅甩开。

如何看待这组数据？我的判断是：带宽和能效是架构红利，短期内难以被HBM路线追平——HBM的带宽提升依赖堆叠层数和接口速率，物理上限摆在那里；而容量是工程问题，可以通过堆更多DRAM层、更多chiplet逐步缓解。业内人士私下聊起Raptor时，说得最多的词是'定位'——它不打算跟英伟达抢训练市场，而是切推理这块最有价格弹性的蛋糕。这恰好是HBM方案能效劣势最刺眼、也最痛的地方。

⚡ 内存墙：推理时代真正的瓶颈

要理解Raptor为什么值得认真对待，得先看清楚大模型推理的钱花在了哪里。

大模型生成文本的过程，叫解码（decode）。每生成一个token，都要把模型权重和KV缓存从头到尾读一遍。权重是死的，KV缓存却随对话变长不断膨胀——素材里给出了一组扎心的数字：64个并发用户、100万token上下文的场景下，KV缓存占用高达935GB。

换句话说，推理芯片大部分时间不是在'算'，而是在'搬'。算力单元空转等数据，电费烧在数据搬运上。这就是业内说了很多年的'内存墙'，而在长上下文、多用户并发成为商业化标配的今天，这堵墙从理论问题变成了账单问题。

💡 这正是Raptor的靶心。当内存和计算面对面堆叠，数据搬运距离缩短到微米级，0.37pJ/bit的垂直IO实测功耗才成为可能。把每GB/s功耗从40mW压到2.96mW，意味着同样一份推理账单可以省下九成以上的带宽能耗成本。

产业逻辑推演一步：AI行业的商业闭环在推理端。训练是一次性投入，推理是持续运营成本，谁能把每token成本打下来，谁就掌握了定价权。带宽和能效的大幅改善，本质上是给推理成本曲线重新画了一条斜率更平的线——这条线的杀伤力，可能比任何基准测试分数都大。

🏭 HBM阵营会塌吗：一笔冷静的产业账

结论先说：不会塌，但会松动。

先看HBM这一侧的产业底座。HBM背后是SK海力士、三星、美光三家存储巨头多年来的TSV堆叠产能投入，加上台积电CoWoS等2.5D封装产能的紧平衡，是一条重资产、高壁垒、被反复验证过的供应链。2024年以来HBM3E的供不应求，让这条供应链的每一环都在扩产。指望一条新路线在两三年内掀翻它，不现实。

再看Raptor这一侧的依赖与挑战：

⚠️ 挑战至少有三层。第一，3D堆叠的良率与散热：逻辑和DRAM面对面键合后，散热路径被内存层挡住，功耗虽低但热密度集中，规模化量产的良率爬坡是硬仗。第二，产能绑定：Raptor押注台积电N4加3D堆叠工艺，而先进封装产能目前整体紧张，初创公司在排产序列里的话语权有限。第三，生态位：英伟达的CUDA生态和互联体系护城河仍在，Raptor需要在'推理专用'这个细分市场证明自己的软件栈和部署体验足够成熟。

地缘视角也要补一句：d-Matrix是美国公司，但核心制造依赖台积电，DRAM则绕开了三大HBM厂商的现有供应体系。这条路线如果跑通，意味着AI算力供应链多了一种解耦的可能——内存、逻辑、封装三个环节可以各自独立选供应商。据业内观察，这比单点性能数字更值得长期盯住。

小结

Raptor的价值不在于'杀死HBM'，而在于证明了一件事：内存墙可以通过物理架构的重新设计，而不是接口规格的修修补补来突破。100TB/s带宽和13.5倍能效改善，把推理市场的技术叙事从'堆更多HBM'切换到了'把内存搬进芯片'。未来两三年，值得盯三个信号：3D堆叠良率爬坡速度、推理专用芯片在数据中心实际部署的账单对比，以及HBM阵营的应对——毕竟SK海力士和三星的工艺储备里，3D DRAM从来不是空白。护城河不会被一夜凿穿，但水已经开始渗了。