国科微全速进击端侧AI推GKNPU4.0

IT时代网8月24日消息,在南京举行的第六届集成电路设计创新会议暨应用展上,国科微受邀参会,其AI算法开发部负责人发表《端侧AI技术挑战与落地实践》主题演讲。同期揭晓的“强芯TOP100”榜单中,国科微再度上榜,显示出业界对其在端侧AI领域攻关与落地的认可。

随着大模型从云端向终端加速渗透,端侧AI正迅速成为芯片产业竞争的新高地。自2024年全面转向AI以来,国科微将“ALL IN AI”定为战略核心,明确提出打造“端侧AI芯引擎”的目标,并已构建起覆盖基础IP、芯片产品到应用方案的完整技术闭环。

神经网络处理器(NPU)是国科微端侧AI战略的技术心脏。面对自动驾驶、边缘计算、智能终端及AIGC等多元场景,企业正聚焦FlashAttention等前沿技术在NPU平台的深度适配,持续推进架构与工具链演进,为产业提供高效算力支撑。

大模型在终端落地的最大拦路虎并非算力绝对值,而是内存带宽与功耗约束下的综合方案——Transformer架构中注意力机制带来的计算负载,已成为推理性能的主要瓶颈。国科微在第四代NPU架构(GKNPU4.0)中重点突破注意力机制的计算效率,让芯片能在本地高效完成大模型推理,显著减少对外部内存带宽的依赖,缓解“内存墙”压力。

GKNPU 4.0原生支持FlashAttention等前沿推理加速技术,从架构层面破解了“大模型难落地终端”的难题。面向未来,国科微正以前所未有的力度加大端侧AI投入:今年7月公司发布定增预案,拟募资不超过50.61亿元,用于端侧AI芯片等三大产业化项目,基于传感接入、媒体处理、AI推理及控制等核心技术构建“感知—决策—执行—反馈”闭环,为端侧智能应用持续输送动能。

注:本文中包含AI辅助创作的内容。

THE END