换个顺序，VLM「不会了」：EgoTSR让机器人判断任务是否真在推进

发布时间：2026-07-17 13:06:23 来源：安智兰德资讯网 作者：焦点

想象这样一个场景：

机械臂夹起桌上的换个顺序杯子，试图将其放入盘中。让人判然而抓取失败，机器进杯子重新跌落回桌面。断任

从时间轴上看，真推后一帧画面确实发生在前一帧之后；但从任务逻辑来看，换个顺序机器人不仅没有推进，让人判反而退回了原点。机器进人类能轻易识破这种“伪进展”，断任但视觉语言模型（VLM）却可能给出截然相反的真推判断。

这一现象的换个顺序根源在于数据偏差。大多数机器人视频按正常时序记录（接近→抓取→放置），让人判导致模型习得了一条“捷径”：时间越靠后的机器进画面，越接近任务完成。断任模型虽能识别物体与动作，真推却未必理解动作与目标之间的因果联系。

针对这一痛点，浙江大学联合天津大学、青岛大学、上海交通大学及新加坡国立大学等五所高校的研究团队提出了 EgoTSR。该研究从第一人称机器人视角出发，旨在赋予 VLM 判断任务真实状态的能力，并延伸至长程规划。团队构建了包含 4600 万条样本的 EgoTSR-Data，并设计了独特的三阶段课程学习流程。

论文题目：From Perception to Planning: Evolving Ego-Centric Task-Oriented Spatiotemporal Reasoning via Curriculum Learning
研究团队：浙江大学、天津大学、青岛大学、上海交通大学、新加坡国立大学等
论文地址：https://arxiv.org/pdf/2604.10517
代码链接：https://github.com/Collab-Gen/EgoTSR

时间偏置陷阱：后出现的画面，真的更接近成功吗？

EgoTSR 关注的核心并非传统动作识别，而是一个更细微的问题：给定同一任务视频中的两张图像，哪一张的状态更接近任务目标？

以“将绿色杯子从桌上拿起放入白色盘子”为例，模型不能仅识别杯子和盘子的存在，必须深入判断：杯子是否被抓住？是否正在移动？是否真正进入目标区域？

更关键的是，任务目标决定了状态的意义：
* 若任务是“打开冰箱”，门打开的状态即为接近完成；
* 若任务是“关闭冰箱”，则判断标准完全相反。

此外，真实场景充满噪声：机械臂可能抓取后掉落、抽屉拉开后又因碰撞关闭、物体短暂到达目标区后又移走。时间滞后 ≠ 任务完成度高。

研究团队将模型依赖输入顺序进行判断的现象定义为 “时间顺序偏差”（Chronological Bias）。为暴露这一捷径，EgoTSR 采用了一种简单而有力的测试方法：图像顺序翻转测试。

假设图像 B 比图像 A 更接近目标：
1. 正向输入：A → B。正确答案应为 B（第二张）。
2. 反向输入：B → A。正确答案应随之变为 A（第一张）。

如果模型始终选择“第二张图”，说明它并未分析物体状态，而是在根据位置猜测。实验结果触目惊心：InternVL-8B 在正向输入下准确率接近 99%，但在顺序交换后，准确率暴跌至约 2%。表面完美的表现，经不起反向测试的推敲。

三阶段课程学习：从解释到内化，再到规划

EgoTSR 拒绝数据混合训练，而是依据能力发展规律，将训练分为三个阶段，累计使用 4600 万条数据。

第一阶段：显式推理（CoT Data）

• 数据量：约 1500 万条
• 机制：模型需先描述两张图的空间状态，比较必要动作的完成度，最后得出结论。
• 目的：建立视觉状态、任务目标与最终判断之间的逻辑联系，强制模型进行“思考”。

第二阶段：能力内化（Tag Data）

• 数据量：约 1600 万条
• 机制：移除详细推理文本，仅保留图像、任务和正确标签。
• 目的：将第一阶段形成的显式推理转化为快速的任务状态判断，提升效率。

第三阶段：长程规划（LongTag Data）

• 数据量：约 1500 万条
• 机制：将能力从单动作扩展至长程任务序列。
• 目的：让模型理解复杂任务中的因果链条与顺序结构。

子任务规划器：构建任务的“逻辑骨架”

“拿起杯子”是原子任务，但真实机器人需完成如“开冰箱→取饮料→放桌面→关冰箱”的复杂目标。若模型仅看到“饮料已拿起”，可能误判任务即将结束，忽略后续步骤。

为此，EgoTSR 引入了 Subtask Planner（子任务规划器）：
1. 任务分解：根据初始场景和高层描述，生成有序原子子任务序列。
* 示例：打开冰箱门 → 找到并抓取饮料 → 取出饮料 → 放置桌面 → 关闭冰箱门。
2. 进度定位：模型不再仅比较局部物体位置，而是判断当前图像处于任务链的哪个阶段，已完成了多少步骤，剩余哪些动作。

论文将长任务图像对分为三个层级：同一子任务内、相邻子任务间、跨越多个子任务。随着跨度增加，模型需依赖整个任务的因果结构，而非局部视觉变化。

注意：此处的“规划”指高层语义分解与进度推理，而非直接输出机械臂关节角或运动轨迹，而是为机器人提供“当前进度”与“后续需求”的认知基础。

双层评测体系：既看“看清”，也看“想通”

研究团队构建了 Dual-Level Evaluation Framework，并引入正向/反向输入测试以检测顺序依赖。

1. 第一层：短程原子任务
2. 考察点：细粒度空间变化（夹爪闭合、按钮按下、物体入位）。
3. 诊断目标：模型是否“看错了”。
4. 第二层：长程任务
5. 考察点：结合子任务序列，判断两张图在完整任务中的相对进度。
6. 诊断目标：模型是否“想错了”。

最终结果：
* 长程任务：平均准确率 92.4%。正向准确率 92.4%，反向 92.3%，差距仅 0.1%，证明模型摆脱了顺序依赖。
* 短程任务：准确率约 88%。

消融实验证实了训练顺序的重要性：
* 混合训练：长任务准确率仅 69.6%。
* 分阶段训练（CoT → Tag → LongTag）：准确率提升至 92.4%。
* 移除规划器：准确率下降至 81.1%。

从任务判断走向实时监测

除了定量评测，团队在 LIBERO、SIMPLER、RoboTwin 等模拟环境，以及 Franka、Agibot、So-100 等真实机器人平台上进行了案例验证。

在“绿杯入白盘”任务中，EgoTSR 处理未经切分的完整视频，输出任务完成度曲线：
* 接近阶段：曲线缓慢变化。
* 关键动作（抓取/放置）：完成度显著上升。
* 搬运过程：保持相对稳定。

这表明 EgoTSR 具备长视频实时监测潜力，可判断机器人当前阶段、检测动作回退，并确认任务是否按预期推进。

结语：机器人需要的不只是“看见”

从静态图像识别走向具身智能，模型面临的挑战发生了根本转变。在图像问答中，识别物体可能已足够；但在真实任务中，模型必须理解物体变化是否服务于当前目标。

• 机械臂动了，不代表任务有进展。
• 视频继续播放，不代表机器人更接近成功。

EgoTSR 的价值在于：
1. 提供了一条从显式推理到长程规划的可复制训练路径。
2. 通过正向/反向图像对，为具身模型设计了一把严格的“尺子”，揭示了被高准确率掩盖的“时间顺序偏差”问题。

虽然距离通用机器人系统仍有距离，但 EgoTSR 提出了一个关键追问：当一个模型声称理解机器人视频时，它是在分析因果逻辑，还是在重复“后一张图更接近完成”的数据规律？对于具身智能而言，回答这个问题，比单纯提升几个百分点的准确率更为重要。

相关文章