阿里巴巴推出Qwen-UI-Agent

IT时代网8月20日消息,阿里巴巴正式推出 Qwen-UI-Agent,一个以真实世界为中心的 GUI 智能体基座模型,覆盖移动端、电脑端、网页端以及深度搜索(DeepSearch)环境。

在 GUI 任务上,该模型全面对标乃至超越业界旗舰模型。移动端 MobileWorld 达到 82.1%,分别领先多款主流模型 8.9 至 14.6 个百分点;真机基准 MobileWorld-Real 达 92.2%,AndroidDaily 高达 97.5%,接近满分。电脑端 OSWorld-Verified 79.5%,同时相比基线节省 58% 执行步数。浏览器与深度搜索方面,WebArena 73.6% 位列对比模型第一,BrowseComp-ZH 75.0%。在 GUI 定位上,ScreenSpot-Pro 达到 81.5%,并在其余多个 grounding 评测基准刷新 SOTA。

为支撑真实场景,Qwen-UI-Agent 搭建了覆盖 100 余台真实手机、150 余应用的真机移动环境,用于任务构建、轨迹采集、模型训练与评测,并自建 MobileWorld-Real 真机基准,打通“从模拟到真实”的最后一公里。

模型将安全判断贯穿任务执行全过程:面对违法或高风险请求会直接拒绝并终止;面对支付、数据删除、隐私授权等敏感场景,则会在关键步骤主动停手,向用户说明情况,待明确确认后再继续。除 GUI 操作外,模型还能直接执行命令行,并在单次决策中批量输出多个动作,约 40% 的动作以批处理形式输出,大幅缩短执行轨迹、提升效率。它支持在超过 100 步的超长轨迹上做在线强化学习训练,约 1 万个并发环境同时 rollout,持续攻克长程任务。

注:本文综合自IT之家等,文中包含AI辅助创作的内容。

THE END