让多模态大模型学会带着时间思考：北大与华为团队开源TaRO框架

发布时间：2026-07-17 14:52:35 来源：安智兰德资讯网 作者：百科

核心贡献：本文第一作者为北京大学王选计算机研究所博士生郑明航，让多通讯作者为助理教授刘洋。模态该团队在 TPAMI、大模大华队开CVPR、型学ICCV、间思架ICML 等顶级学术会议及期刊上屡获佳绩，考北O框并与国内外顶尖高校及科研机构保持紧密合作。为团

研究背景：本文重点介绍了北京大学与华为中央媒体技术院在多模态视频理解与时序定位（Video Temporal Grounding,让多 VTG）领域的最新突破。

问题痛点：现有基于强化学习（RL）的模态视频大模型在推理时往往陷入“肤浅推理”陷阱，无法为精确的大模大华队开时序定位提供有效指导。

解决方案：团队提出全新的型学时序感知推理优化（Temporal-Aware Reasoning Optimization, TaRO）训练框架。该框架显式增强模型“带着时间思考”的间思架能力，在多个公开基准测试中刷新了零样本性能记录。考北O框目前，为团相关代码已全面开源。让多

论文信息
* 标题：Temporal-Aware Reasoning Optimization for Video Temporal Grounding
* 论文链接：https://arxiv.org/abs/2606.09248v1
* 开源代码：https://github.com/oceanflowlab/TaRO
* 项目主页：https://minghangz.github.io/publication/taro
* 视频介绍：https://www.youtube.com/watch?v=GJaodMUG9Vc

背景与动机

视频时序定位（VTG）的核心任务是根据自然语言查询，在未剪辑的视频中精准定位对应事件的起止时间段。近期，多模态大语言模型（MLLMs）结合强化学习（RL）在生成引导时序定位的推理路径方面展现出巨大潜力。然而，现有方法存在显著缺陷：生成的推理往往流于表面，未能识别出回答所需的关键视频证据。

如图 1（a）所示，研究人员对比了“带推理路径”与“直接输出答案（无推理）”两种设置下的训练与推理效果，发现两者性能差异微乎其微。这一现象揭示了一个关键问题：尽管模型被训练进行推理，但这些生成的肤浅推理对最终的定位预测几乎没有实质性贡献。

根本原因分析：

1. 低效的随机探索机制：现有强化学习范式在探索庞大的视频推理空间时缺乏有效指导。盲目的随机展开（random rollout）导致模型主要探索低质量轨迹，进而产生次优且肤浅的推理结果。
2. 忽视推理质量的奖励设计：当前奖励函数主要关注最终答案的正确性（如计算交并比 IoU），完全忽略了推理过程本身的质量。这导致那些不依赖真实视觉时序证据的推理路径也可能被强化，使模型过度依赖虚假相关性。

图 1：背景与动机

技术方案

为克服上述挑战，本文提出时序感知推理优化（TaRO）框架，旨在训练多模态大模型显式地“带着时间”进行思考。如图 2 所示，TaRO 框架由以下三个核心组件构成：

1. 模板化推理探索（Constructive Reasoning Exploration）

为解决低效随机探索问题，提供高质量的初始指导。
* 机制：利用预先生成的带有明确时间戳的密集视频字幕构建推理轨迹。
* 效果：通过按时间顺序拼接采样后的字幕，模型能够学习识别哪些视觉线索对定位至关重要，哪些是干扰项，从而避免盲目摸索。

2. 时序敏感度奖励（Temporal-Sensitivity Reward）

为评估推理质量并确保其严格锚定在正确的视觉片段上。
* 机制：设计一种实例级的推理路径奖励机制。核心逻辑是：高质量推理应锚定特定事件和时间戳。若扰乱真实事件边界附近的帧，该推理路径应失效，导致其概率（logit）下降。
* 效果：利用概率下降作为奖励信号，强制模型生成与关键时间戳紧密耦合的推理内容。

3. 渐进式课程学习（Progressive Curriculum）

TaRO 遵循由浅入深的学习策略。
* 预热阶段：模型利用模板化探索数据进行学习，掌握关注视觉线索的方法，建立“带着时间思考”的范式。
* 自由探索阶段：模型过渡到自主生成阶段，在时序敏感度奖励的引导下，完善其推理策略。

图 2：时序感知推理优化（TaRO）框架

实验结果

零样本视频时序定位性能

如表 1 所示，采用 TaRO 框架训练的视频大模型在 Charades-STA、ActivityNet Captions、QVHighlights 和 TVGBench 四个公开基准测试上，全面超越了现有最先进方法（SOTA）。

• 显著领先：以 Qwen2.5-VL-7B-Instruct 为基座模型时，TaRO 在 TVGBench 上的 R1@0.5 指标领先基线模型达 8.4%。
• 通用性强：TaRO 在较小的 Qwen2.5-VL-3B 模型和更新的 Qwen3-VL-8B 架构上均展现出一致的性能提升，证明了方法的通用性。

表 1：零样本视频时序定位性能比较

长视频场景下的扩展能力

为验证 TaRO 在长视频上的表现，本文在两大长视频数据集上进行了零样本评测：
* TACOS（平均长度 367 秒）
* Ego4D NLQ（平均长度 499 秒）

如表 2 所示，在相同底座模型下，TaRO 训练的大模型依然保持优异性能，大幅领先现有基线。特别是在 Qwen3-VL-8B 架构上，提升更为明显：
* 在 TACOS 上，R1@0.3 提升 13.7%。
* 在 Ego4D NLQ 上，R1@0.3 提升 8.7%。

这证明了基于时序感知的强化学习优化在面对长视频时具有极高的有效性和鲁棒性。

表 2：长视频时序定位性能比较

消融实验

表 3 验证了 TaRO 各核心设计的有效性：

1. 时序敏感度奖励（TR）的有效性：在纯随机探索基线模型上单独加入 TR，使 R1@0.5 从 61.1% 提升至 63.1%（第 1-2 行）。
2. 自由探索的必要性：若仅让模型模仿外部构造的推理路径（CRE）而不进行后续自由探索（PC），定位性能严重下滑（第 3-4 行）。这是因为测试阶段无法依赖外部字幕，模型必须内化自己的推理策略。
3. 课程学习的优势：引入渐进式课程学习（PC）弥补了上述鸿沟，实现了最优性能（第 5-6 行）。

表 3：消融实验

可视化结果

图 3 展示了 TaRO 在复杂多模态场景下的表现：
* 抗干扰能力：视频开头出现强干扰项（女子用手擦脸），其视觉动态与文本查询（用刷子擦脸）高度相似。
* 精准定位：TaRO 通过生成细粒度的中间时序推理，精准锚定 19.0s 至 37.0s的关键动作，剔除后续无关片段，最终给出正确预测。

图 3：可视化对比

总结

针对视频时序定位中多模态大模型推理流于表面、缺乏真正时间感知的问题，本文推出了 TaRO 框架。通过引入模板化推理探索机制高效引导模型“带着时间思考”，并利用时序敏感度奖励量化推理质量，TaRO 成功提升了多模态大模型的时序推理能力。大量实验证明，该框架不仅显著提升了模型推理的鲁棒性与可解释性，更在多个公开基准上取得了最佳的视频时序定位性能。

相关文章