算力不够内存凑，DRAM想反客为主

当GPU厂商在封装里堆到十二层HBM还嫌不够的时候，另一批人换了个思路：数据不动，让计算走过去。近日，Syracuse University、FAU（埃尔朗根-纽伦堡大学）与TU Dresden（德累斯顿工业大学）联合发表论文《RAPID: Row-Parallel Arithmetic Processing in DRAM》，提出一种行并行的DRAM内存内计算（PUM）架构，矛头直指现有方案最疼的一处：数据重组开销。本文的核心判断是——存内计算的竞争焦点，正在从“能不能算”转向“数据摆位有多贵”，这类工作是PUM从实验室走向部署的关键拼图。

🧱 内存墙：芯片最贵的不是算，是搬

摩尔定律省下的功耗，正在被数据搬运加倍奉还。

先看一个场景。大模型推理时，GPU的算力单元大部分时间并不是在算，而是在等——等权重从显存搬过来。一位做过存内计算架构的工程师私下感慨：“算力单元早就便宜了，贵的是那根总线。”这话糙理不糙。斯坦福大学Horowitz的经典测算被业内反复引用：片上做一次32位浮点乘加的能耗不过几皮焦，而从DRAM读回同样一个数的能耗是它的上百倍。算得越快，等得越狠，这就是所谓冯·诺依曼瓶颈在今天的具体形态。

业界给这个困境开的药方分两派。一派是“近存计算”（NMP），把算力单元搬到内存芯片旁边，比如HBM周边的逻辑die；另一派更激进，叫“存内计算”（PUM），干脆在存储介质内部做运算。RAPID属于后者：在DRAM阵列里直接做算术，数据从一个比特也用不着搬出内存。

产业逻辑很直白：数据搬运的能耗和延迟降一个数量级，比把算力再堆高一档要划算得多。对数据库分析、推荐系统、稀疏矩阵这些“数据量大、计算轻”的负载尤其如此。

🧬 列式重构：存内计算的隐形税

想省搬运费，先得交一笔重组税。

DRAM做计算的物理基础是“电荷共享”：同一根位线（bitline）上的多个存储电容连接在一起，电荷重新分配后，灵敏放大器读出的就是某种位级运算的结果。这个机制天然只对“列”友好——一次运算被限制在单独一根位线内。麻烦在于，绝大多数真实应用的数据是按“行”组织的：一行是一条数据库记录，一行是向量的一组元素。要把这些行式数据喂给只能按列算的DRAM，就得先把数据重组为列向的位串行（bit-serial）布局。

RAPID论文摘要一句话点破了行业现状：现有DRAM-PUM架构“需要将数据重组为列向的位串行形式”。重组靠什么？靠RowClone这类DRAM内部批量拷贝技术——虽然比绕道CPU快得多，但每一次行激活、每一次拷贝，都是实打实的时间和能耗。这就好比数据库里先跑一遍ETL再做查询：单看查询性能很漂亮，把ETL摊进来，账就没那么好看了。多位研究PUM的学者在私下交流中都承认，数据重组是这类方案在真实负载上“缩水”的主要来源。

产业逻辑上，这条“隐形税”决定了PUM只适合数据布局恰好是列式的少数场景。想扩大适用面，要么让应用迁就内存（改数据结构），要么让内存迁就应用（改架构）。学术界两条路都在试。

⚡ RAPID的选择：不搬了，按行算

与其让数据搬家，不如让算术弯腰。

RAPID的思路概括起来是“行并行算术处理”：不再要求把数据重组成列式位串行布局，而是让算术运算以行为单位在DRAM内部并行完成。对数据库记录、稠密向量这类天然按行组织的数据，数据保持原样，运算直接开进行里，重组开销被釜底抽薪。这是典型的“架构适应数据”路线——牺牲了位串行方案在单根位线上能攒起来的细粒度灵活性，换来了不用搬数据的整体收益。

从产业视角看，这个取舍方向是对的。位串行方案的论文数字往往很惊艳：位宽串起来算，吞吐量看着吓人。但真实负载里，数据重组摊销进来的开销会让收益大打折扣；而且改造应用数据布局意味着侵入软件栈，落地阻力极大。行并行方案保住了数据的自然形态，意味着现有程序的数据结构基本不用动，这对工程团队来说是天大的友好。

当然，要客观说一句：摘要之外的技术细节——比如行并行算术的精度、支持哪些运算原语、吞吐与能耗的具体数字——需要读原文验证。但方向上，“消灭数据重组开销”切中了DRAM-PUM最被诟病的一环。

🏭 商业化现场：论文在实验室，产品在产线

别以为这只是学术圈的自嗨，内存大厂已经下过场了。

这条赛道的商业化比外界想象的早。法国公司UPMEM早在2019年就拿出了量产级产品：用标准DRAM工艺，在每个芯片里嵌入多颗简单DPU处理器，是目前最接近“真卖”的PIM形态。三星电子2021年在ISSCC上连发两弹——FIMDRAM和HBM-PIM，后者直接把PIM逻辑塞进了HBM接口里，明确瞄准AI推理和移动端。SK海力士2022年跟进，推出基于GDDR6的AiM（Accelerator-in-Memory），主打带宽敏感型负载。据多位接近DRAM大厂的人士透露，这些PIM产品至今没有大规模铺货，但一直有特定客户在评测——数据库加速和端侧推理是最常被点名的两个场景。

把这张表和RAPID放进同一个坐标系，脉络就清楚了：大厂走的多是“近存”折中路线——内存里加一点算力，接口保持兼容，风险可控；学术圈在冲“存内”的极限——把算术真正做进阵列。RAPID这类工作解决的是后者最硬的骨头之一。两条路线不是替代关系，而是渐进关系：近存打前站教育市场，存内等一个软件生态成熟的时机。

⚠️ 冷水：从论文到量产隔着什么

性能论文好写，软件生态难养。

泼一盆必要的冷水。DRAM-PUM要过三道坎：第一是编程模型，让编译器和库知道“这段运算去内存里做”至今没有统一方案，UPMEM为此自建了一套C API，生态厚度和CUDA差着几个数量级；第二是制造成本，行并行算术意味着更复杂的行激活控制和可能的额外灵敏放大器，DRAM是个以皮法级成本计较较的专业，任何阵列内改动都要过良率和测试这关；第三是与正常内存功能的共存——DRAM首先是内存，计算功能不能把可靠性、刷新和纠错搞坏，否则内存大厂第一个不答应。

产业判断方面，我认为未来三到五年PUM不会替代任何主流计算，但会在两个缝隙里站稳：一是企业级数据库与图分析的加速卡形态，客户为特定负载付费；二是端侧AI推理，那里带宽贵、功耗敏感、模型小，PIM的性价比逻辑最通顺。RAPID打的“数据重组税”，恰好是数据库这类行式负载的最大痛点——方向踩得准。

🔖 小结

从Ambit到HBM-PIM再到RAPID，存内计算十年的演进轨迹其实就一句话：先证明DRAM能算，再让DRAM算得像样，现在开始让它算得顺手。行并行架构消解数据重组开销，是把PUM从“演示级”推向“部署级”的必要一步。下一个值得盯的信号是：DRAM大厂会不会在下一代PIM原型里吸收学术界的行并行思路——如果ISSCC上出现了类似设计，这场内存反客为主的好戏才算真正开场。