资讯
高通第六代骁龙8至尊版系列集成全新Hexagon NPU:专为AI智能体打造
📋总体概括
高通在官网详细介绍第六代骁龙8至尊版系列搭载的全新Hexagon NPU,主打AI智能体场景。新NPU引入两大关键特性:面向Transformer工作负载的Element Accelerator,以及大容量共享内存系统,可将多模型状态、上下文与KV-cache数据置于靠近加速器位置,缓解内存瓶颈。高通还与内存及模型厂商合作引入混合专家模型架构,300亿参数MoE模型每次生成词元仅需激活约30亿参数,在保持数百亿参数能力的同时大幅降低算力与带宽消耗,推动智能体AI在终端侧直接运行。
⚡关键信息
- ▸第六代骁龙8至尊版集成全新Hexagon NPU,专为终端侧AI智能体体验打造
- ▸新增Element Accelerator,专门加速Transformer工作负载,结合向量与标量单元提升推理效率
- ▸大幅扩展共享内存,KV-cache等数据更靠近加速器,缓解长上下文与多任务并发下的内存瓶颈
- ▸与内存和模型厂商合作引入MoE架构:300亿参数模型每次词元生成仅激活约30亿参数
- ▸MoE按输入动态选择专家网络,较密集模型显著降低计算负载与内存带宽需求
🔥犀利点评
高通把NPU叙事从「跑大模型」转向「跑智能体」,方向没错——长上下文、KV-cache、并发任务确实卡在内存带宽上,扩共享内存是真痛点。但别急着欢呼:MoE省算力的账是厂商口径,终端侧内存容量和发热的天花板并没有消失。所谓300亿参数只激活30亿,听起来美好,实际体验还得看安卓厂商敢不敢真把端侧智能体做成日常功能,而不是发布会PPT。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 驱动之家 阅读全文 →