高通全新Hexagon NPU专为AI智能体打造

IT时代网9月11日消息，高通在官网介绍了全新一代Hexagon NPU，这款神经网络处理器专为下一代AI智能体打造，已随第六代骁龙8至尊版系列一同引入。

新NPU带来两项关键特性：全新Element Accelerator与更大的共享内存系统。Element Accelerator面向生成式AI与智能体AI的Transformer负载设计，结合向量与标量计算单元，加速大模型中最关键的运算，让智能体响应更快、推理更高效，同时在移动端保持能效。

该NPU还大幅扩展了大容量共享内存，让多模型状态、上下文与KV-cache更靠近加速器，缓解内存瓶颈。高通表示正与内存及模型厂商合作引入混合专家模型（MoE），一个300亿参数的MoE模型在保持数百亿参数可用的同时，每次生成一个词元仅需激活约30亿个被路由选中的参数，以更低功耗实现更大模型级别的体验。

注：本文中包含AI辅助创作的内容。

编辑：林一舟