小米造了一个能"上阵打仗"的手机AI助手，而不只是考场上的优等生

发布时间：2026-07-17 08:12:48 来源：安智兰德资讯网 作者：娱乐

2026年6月30日，小米小米SeerRay团队发布技术报告（arXiv:2606.31410），造个阵打仗的助手只考正式推出Xiaomi-GUI-0。手机该系统旨在解决AI助手在真实手机场景中“高分低能”的场上行业痛点，通过构建以真实设备为核心的优等生训练与评估闭环，实现了从“模拟环境优等生”到“实战环境能手”的小米跨越。

核心痛点：实验室与真实世界的造个阵打仗的助手只考鸿沟

当前AI助手在测评榜单上表现优异，但在真实手机操作中常遭遇尴尬：
* 交互断层：在登录验证码、手机风控弹窗等异常页面停滞不前。场上
* 环境差异：模拟器无法复现真实手机的优等生账号状态、网络波动及App的小米反模拟器检测机制。
* 核心矛盾：依赖“历史成功轨迹”的造个阵打仗的助手只考训练模式，导致模型缺乏处理异常状态和长尾意图的手机能力。

Xiaomi-GUI-0提出“在真实战场训练”的场上理念，将真实手机作为训练场，优等生让AI在真实交互与失败恢复中学习。

一、基础设施：真实设备与混合调度体系

1. 混合设备池

• 真实设备主导：覆盖近10个主流品牌、100款高频商业App的物理设备池，执行初始化、账号预热及权限屏蔽。
• 沙盒辅助：针对风控宽松的应用，利用沙盒进行大规模并行测试，保证数据规模与可复现性。

2. 拉取式调度机制

摒弃传统的“推送式”任务分配，采用设备主动拉取模式：
* 设备实时上报状态（型号、分辨率、账号状态、风控等级等）。
* 仅当任务需求与设备状态完全匹配时，才分配任务。
* 优势：大幅减少因设备掉线、登录失效或触发风控导致的无效执行。

3. 人机协同执行

• 全链路记录交互数据（截图、动作、异常类型）。
• 保留人工维护通道：通过浏览器实时推流，人工介入处理账号过期、风控拦截等需人工确认的异常。

二、数据构建：三层数据体系与错误飞轮

针对五类监督信号（高频执行、异常处理、长尾泛化、纠错对齐、核心智能体能力），构建三层数据体系：

1. 高频任务数据

• 功能清单覆盖：整理主流App的核心功能（如“加入购物车”、“路线搜索”），配套多种自然语言表述及等价执行轨迹。
• 中间页增强：
• 路径内截断：模拟用户从中间页面开始操作。
• 路径外切换：训练模型从无关页面返回正确路径。
• 跨App识别：训练模型识别相似功能并切换至目标App。
• 异常状态覆盖：采集约5000个样本，覆盖登录过期、验证码、支付验证等14种异常，明确“暂停交还用户”或“安全跳过”策略。

2. 高泛化数据（长尾意图）

• 功能树构建：建立App功能的树状结构，经两轮人工核验，确保功能点与查询的完整性。
• 行为桶合成：区分“App功能”与“用户意图”，以行为桶为主轴合成查询，避免机械堆砌。
• 查询分类：
• 单应用：功能点、复合查询、汇总查询。
• 跨应用：接力型、对比型、并行型，经LLM打分筛选合理组合。
• 轨迹清洗：
• 子任务粒度判断：将长轨迹拆解，仅保留所有子任务完成的轨迹（吻合率94%）。
• 重复步骤处理：剔除重复动作标签，但保留在历史上下文中，转化为“反思与纠错”的监督信号。

3. 智能体能力增强数据

• 结构化思维链（CoT）：将杂乱推理规范化为五标签格式：
• 【观察】：客观描述页面元素。
• 【反思】：检测预期与实际差异。
• 【计划/更新/重规划】：动态调整执行路径。
• 【决策】：推导当前动作及理由。
• 【记忆】：跨步骤状态继承。
• 一致性约束：通过正向可推导性与标签一致性约束，防止“胡说推理”与“事后合理化”。

4. 错误驱动数据飞轮

• 交互式标注：标注人员回放失败轨迹，仅标注第一个关键错误及其纠正动作，聚焦根本原因。
• 教师模型接管：
• 教师模型实时打分，识别偏离路径。
• 连续低分时，教师接管有限步数演示恢复过程，随后交还控制权。
• 生成包含“错误-诊断-恢复”的高密度监督信号。

三、三阶段训练课程

1. 监督微调（SFT）

• 数据：合并高频、泛化、能力增强及纠错数据。
• 规模：120万GUI步骤样本 + 440万屏幕理解定位样本。
• 目标：建立基础交互协议与动作空间。

2. 步骤级强化学习（Step RL）

• 算法：群体序列策略优化（GSPO），序列级重要性比率更新。
• 奖励函数：层级触发级联设计（规则解析→动作检查→结构检查→LLM评判），低成本规则优先，确保基础合规。
• 优化：DAPO动态采样，丢弃无梯度贡献样本。

3. 智能体级强化学习（Agentic RL）

• 解耦架构：推理（SGLang集群）与环境执行异步解耦，避免长尾延迟阻塞。
• 轮次级训练：滑动窗口控制历史长度，优势从完整轨迹继承至轮次。
• 课程采样：基于成功率估计，动态调整任务难度分布。

四、RealMobile基准：真实场景量化评估

1. 基准设计

• 规模：100个任务，覆盖14款主流App，57%为跨应用任务。
• 评分机制：细粒度子目标（0-1连续值），设否决条件（如误付款、发错消息）。
• 验证规则：XML结构匹配 + OCR + 逻辑语义代码函数（顺序与一致性约束）。

2. 能力领域

• 基础操作：点击、滑动、导航。
• 安全与反思：边界尊重、异常停止。
• 记忆与知识：跨步骤信息保持、常识推断。
• 复杂推理与规划：多源比较、长序列状态维护、模糊指令分解。

五、实验结果：真实环境下的性能突破

模型基座：Qwen3-VL-30B-A3B-Instruct，64块NVIDIA H100训练。

1. 定位基准

• ScreenSpot-V2: 94.7%
• MMBench-GUI-L2: 82.7%
• OSWorld-G: 58.7%
• 注：在桌面端布局理解子维度表现优异，但文本匹配与拒绝类别仍有提升空间。

2. 任务执行基准

• AndroidWorld（模拟器）：78.9%（排名第一），超越UI-Venus-1.5-30B（77.6%）。
• RealMobile（真实设备）：
• 成功率：72.0%
• 子目标完成度：85.8%
• 对比：大幅领先最强开源模型MAI-UI-8B（33%）；超越Gemini 3.1 Flash（58%）、Claude Opus 4.7（60%）；逼近Gemini 3.1 Pro（85%）与Seed 2.0 Pro（80%）。

3. 领域细分表现

• 基础操作：100%（与Gemini 3.1 Pro并列，接近饱和）。
• 安全与反思：43.8%（开源第一，但整体仍为短板，Gemini 3.1 Pro为62.5%）。
• 记忆与知识：66.7%（开源第一，落后于闭源大模型，暗示模型容量对知识召回的重要性）。
• 复杂推理与规划：80.5%（超越Seed 2.0 Pro的73.2%，逼近Gemini 3.1 Pro的82.9%；远超最强开源基线31.7%）。

结论

Xiaomi-GUI-0证明了“真实可用必须在真实环境里训练和验证”。通过将真实设备、真实异常与失败恢复纳入训练核心，该系统在复杂长轨迹规划与跨应用任务上展现出接近前沿闭源模型的能力。未来，手机AI助手将更具备在验证码、风控拦截等真实场景中“知止”与“纠错”的智能。

Q&A

Q1：Xiaomi-GUI-0和其他手机AI助手相比，最核心的区别在哪里？
A：核心区别在于训练和评估环境。多数系统依赖模拟器和历史成功轨迹，而Xiaomi-GUI-0以真实手机为主要训练场，让模型在真实App、真实账号状态及真实异常（如验证码、风控）下学习。这使其在RealMobile基准上达到72%的成功率，远超传统范式开源模型（15%-33%）。

Q2：错误驱动数据飞轮具体是怎么工作的？
A：飞轮由两个环节构成：
1. 交互式标注：人工回放失败轨迹，标注第一个关键错误及纠正动作，聚焦根本原因。
2. 教师模型接管：教师模型实时打分，识别偏离路径后介入演示恢复过程，随后交还控制权。
随着迭代，飞轮自动聚焦于模型当前顽固的错误类型，提供高密度的“错误-恢复”监督信号。

Q3：RealMobile基准和AndroidWorld基准有什么区别？
A：
* AndroidWorld：基于模拟器，环境可控、状态简化，侧重测量基础执行能力与可复现性。
* RealMobile：基于真实手机，使用真实App与账号，57%任务跨应用，评分采用细粒度子目标并包含安全反思任务，更能反映真实部署条件下的实际可用性。

相关文章