Ternary Bonsai 2系列模型亮相

IT时代网10月16日消息，AI公司PrismML于10月15日发布博文，宣布推出Ternary Bonsai 2系列模型，共有2B、4B和9B三种规模，目标在手机、PC以及可穿戴设备上本地运行AI智能体，执行推理、识图、调用工具等能力。

该系列模型基于通义千问3.5基座构建，采用三元权重表示法，即仅用-1、0、+1三种数值编码模型参数。

官方称2B、4B、9B模型的存储占用分别约为0.43GB、0.95GB和2GB。该系列可与已有的Bonsai 2 27B组成从轻量任务到复杂工作流的完整产品线。

在能力上，Bonsai 2系列强调本地智能体的实用性，包括遵循指令、完成日常任务、在移动设备上调用工具、避免重复输出等。

官方在19项基准上测试了智能工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力，其中9B模型在标准指令执行和日常数学任务中，所需token数量约减少40%。

性能方面，PrismML表示在RTX 4090和M5 Pro等硬件上，新模型相较对应全精度模型可实现最高5倍吞吐量和3倍能效。

在iPhone 18 Pro Max上，9B模型最高可达每秒34个词元，2B模型最高可达每秒120个词元。

开发者可通过llama.cpp在NVIDIA GPU上运行，也可通过MLX在Mac、iPhone和iPad上部署，模型权重以Apache 2.0许可证开放。

注：本文配图由AI生成。本文综合自IT之家等，文中包含AI辅助创作的内容。

编辑：林一舟