淘宝开源0.3B端侧模型 手机离线跑350token/s

IT时代网11月6日消息,淘宝旗下 MNN 团队今日发布 MNN-Pocket-0.3B 模型,面向手机应用的任务需求与资源预算设计,在有限算力、内存和能耗下兼顾任务能力、响应速度与持续运行体验。该模型已在苹果 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行,实测平均解码速度约 350token/s。

团队把手机应用原生大模型拆成四个设计目标:速度上,指定设备与上下文配置下解码吞吐超过 200token/s;内存上,峰值内存低于 300MB;功耗上,典型推理负载下单次推理增量能耗不超过参考手机电池能量的万分之一,即 100 次推理耗能不超过电池总量的百分之一;能力上,以在指定业务场景达到 8B 级模型效果为目标,兼顾中英文理解、世界知识与数学、代码推理。

MNN-Pocket-0.3B 由团队从零设计并训练,约 3 亿参数,重点支持中文与英文,把模型结构、词表、训练数据、预训练与后训练方法以及量化和推理引擎纳入协同优化。其 INT4 部署文件体积仅 173MB,包含模型权重、分词器、计算图和推理配置。

横向对比中,在 iPad Pro M5、Metal 后端、512token 测试配置下,该模型加载与推理期间的峰值 Metal 驻留内存相对基线增加 228MB,同条件下 Qwen3-0.6B 部署文件为 340MB、峰值内存增量 427MB。两者相比,部署体积减少约百分之四十九,峰值内存增量减少约百分之四十七。

吞吐方面,同配置下 MNN-Pocket-0.3B 的 Prefill 达到 8721token/s、Decode 达到 466token/s,约为 Qwen3-0.6B 的 1.63 倍;在第五代骁龙 8 的 CPU 后端,Decode 吞吐为 251token/s。团队称更小的部署体积可降低模型下载与更新成本,更低的内存占用则为页面、图片、视频等业务模块留出空间。

本站此前报道过 iPhone 18 Pro 本地运行 270 亿参数模型的实测表现,端侧算力与内存规格已能支撑更大规模模型,此次 3 亿参数轻量模型的落地,进一步把手机应用原生大模型推向可集成、可量产的状态。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:林一舟

THE END