用于高吞吐LLM服务的高带宽闪存（UC Berkeley与FuriosaAI）

📋总体概括

UC Berkeley与FuriosaAI的研究人员联合发表技术论文《Characterizing High Bandwidth Flash for LLM Serving》，系统评估高带宽闪存（HBF）在大模型推理服务中的应用价值。论文指出，LLM服务需要大量存储模型权重与KV缓存，随着模型规模扩大、上下文变长，内存容量与带宽日益成为服务性能瓶颈，而Agentic工作负载进一步加剧该问题。HBF有望以更低成本提供接近HBM的容量与带宽，为高吞吐LLM推理提供新的存储层级方案。