Heterogeneous Memory Chiplets Accelerate Multi-Request LLM Inference (NUS)

📋总体概括

新加坡国立大学研究团队发表论文CHIPSMORE，提出一种多模式、多请求LLM推理加速器，通过在互连和存储中集成计算（compute-in-interconnect与CIM）的异构存储Chiplet方案，同时支持基础模型推理和LoRA低秩适配推理，应对多样化工作负载。该研究瞄准大模型推理服务中多请求并发的算力与内存带宽瓶颈，属于Chiplet+存算一体前沿探索，但目前仍停留在学术论文阶段，尚未见工程化和产业落地信息。