苹果披露人形机器人HALO控制系统

IT时代网11月7日消息,苹果研究团队在预印本平台 arXiv 提交论文,披露了人形机器人自主控制系统 HALO,同时公开了数据生成、模型训练和部署代码,涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。

在落地阶段,研究团队采用宇树科技 G1 人形机器人,背部加装专用 3D 打印保护外壳,内置一台 Mac mini(M4 Pro 芯片、64GB 统一内存),由 Mac mini 在机载端实时推理计算开销较大的任务编排与动作生成模块,G1 自带板载芯片则专注高频运行动作跟踪器。

执行任务时,HALO 由三个层级协同控制:最上层是基于视觉语言模型的任务编排模块,默认采用千问 Qwen3.6-35B-A3B,也可通过 API 调用云端模型;中间的动作生成层采用另一款千问模型 Qwen3.5-2B;底层是经强化学习、策略蒸馏等步骤训练的动作跟踪器,以每秒 50 次的频率运行。

论文披露,研究团队在 6 个未预先扫描或建图的真实环境中开展 360 次单项任务测试,平均成功率为 91%。针对长序列复合任务,3 种组合平均成功率为 70%,其中最复杂的俯身通过障碍、走向目标、推箱子组合 10 次测试成功 5 次。

训练资源方面,团队使用 250 张英伟达 H100 耗时约 48 小时合成主要训练数据,动作生成器通过模仿学习训练使用 64 张 B200,动作跟踪器使用 4 张 H100。团队同时指出,目前机器人主要依赖视觉感知,难以直接感知接触情况,加入触觉感知将是后续改进方向之一。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:刘宁

THE END