MacBook Pro外接iPhone运行AI模型提速44%

IT时代网10月4日消息，Qwen3.8-27B是一款性能不错的人工智能模型，但前提是设备拥有足够的内存。搭载M4 Pro芯片的MacBook Pro仅有24GB统一内存，运行该模型时预填充速度受到限制。有用户通过USB-C接口把iPhone 17 Pro Max外接至这台Mac，借助自制软件让两端协同运算，使预填充性能最高提升44%。

这套方案的关键在于拆分运算任务：针对预填充加速，MacBook Pro负责处理每批256个token中的第1至40层，再将激活值数据流传到手机端；iPhone则利用A19 Pro的GPU运行第41至64层，与此同时Mac已经开始处理下一批数据。依靠GPU运算，手机端的运行速度相比不使用GPU时提升约2.4倍。

神经网络引擎同样没有闲置：每16K长度的旧上下文会被编译为一套神经网络引擎模型。在140K上下文长度下，相较于仅使用A19 Pro的GPU，单token写入耗时从279毫秒缩短至176毫秒。

实测数据方面，将一份2000 token的文件预填充并保存会话：上下文8K时仅靠Mac本机为每秒132个token，外接iPhone后达到177个，提升35%；16K时从109个涨至157个，增幅44%；32K时从101个提升至130个，改善29%。

该方案也存在局限：在64K以内的场景，手机并不会加速文本生成，生成工作依旧全部由Mac完成。驱动iPhone 18 Pro与iPhone 18 Pro Max的A20 Pro芯片有望提供更大性能余量，它整体性能更强，且配备双16核神经网络引擎，针对专门适配的任务，其数据吞吐能力据称超过芯片内置的7核GPU。这套自制软件已开源，项目名称为「backburner」。

注：本文综合自IT之家等，文中包含AI辅助创作的内容。

编辑：陈帅