牛津大学让AI学会"物理直觉":无需看视频就能预测物体运动

发布时间：2026-07-18 03:18:57 来源：安智兰德资讯网 作者：综合

这项由英国牛津大学视觉几何组（Visual Geometry Group）主导的牛津能预研究，以预印本形式于2026年6月25日发布，大学动论文编号为 arXiv:2606.27364。学需感兴趣的理直研究者可通过该编号查阅完整原文。

物理世界充满变数，觉无从不按既定剧本上演。视频橡皮球从桌沿滚落，测物会划出特定的体运弧线；橡皮泥坠地，则呈现独特的牛津能预形变。人类凭借本能与经验，大学动无需复杂计算即可预判这些动态。学需然而，理直对于机器人、觉无游戏引擎及虚拟现实系统而言，视频让计算机真正“理解”三维空间中物体的测物运动规律，依然是人工智能领域的棘手难题。

牛津大学团队为此提出了名为 PHYSIFORMER的新型模型。其核心目标明确而宏大：仅需输入物体在某一时刻的位置与速度，模型即可预测其未来整段时间的完整运动轨迹——无论面对的是坚硬铁块还是柔软橡皮泥，无论场景中仅有一个物体还是多达十五个。

一、范式转移：从“视频幻觉”到“三维空间直读”

以往的研究多尝试利用视频生成模型模拟物理世界。逻辑看似直观：将摄像机捕捉的画面输入模型，预测下一帧图像，通过连续生成构建运动感。

然而，这一路径存在根本性缺陷——视频本质上是二维的“幻觉”。摄像机仅能记录固定视角的二维像素，物体的真实深度、形状与材质信息被严重压缩。更致命的是，同一物理过程在不同拍摄角度下呈现截然不同的画面。近期研究指出，现有视频生成模型在物理合理性上表现不佳，常违反牛顿定律，生成现实中不可能发生的运动。

牛津团队选择绕过这一弯路，直接在三维坐标空间中工作。他们将物体表示为顶点和三角形面组成的三维网格——这与MuJoCo、PyBullet等专业物理仿真器的底层表示一致。这种表示法具有视角无关性：无论观察角度如何变化，物体的三维坐标保持不变。换言之，PHYSIFORMER处理的不是“摄像机视角下的视觉表象”，而是“物体在真实空间中的实际状态”。

这一出发点带来了关键优势：物理定律本身即在三维空间中运作。相较于像素表达，使用三维坐标描述运动更加自然且精准。

二、PHYSIFORMER的核心机制

1. 输入与输出定义

PHYSIFORMER的输入包含三个关键要素：
* 初始位置 ($X_0$)：每个顶点在初始时刻的三维坐标。
* 初始速度 ($V_0$)：每个顶点在初始时刻的速度向量。
* 材质类型：标识物体是刚性（如金属）还是弹性（如橡皮泥）。

模型的任务是一次性输出未来整段时间内所有顶点的完整运动轨迹。研究团队将时间离散化为若干帧，每帧对应一个顶点位置矩阵，轨迹即为按时间排列的矩阵序列。

2. 摒弃自回归，采用“一次性生成”

传统方法多采用自回归（Autoregressive）策略，即“接龙式”预测：先预测第二帧，再基于第二帧预测第三帧。虽然符合牛顿力学的马尔可夫特性，但存在致命弱点：误差累积。
* 每一步预测的微小偏差会在后续步骤中叠加。
* 实验显示，自回归模型在后期常出现金属块“融化”、静止物体漂移、物体穿透边界等现象。

PHYSIFORMER选择了一条不同路径：将整条轨迹视为单一生成目标，一次性生成。这种方式切断了帧间的误差传递链，确保模型在全局范围内保持时间一致性。

三、扩散模型：从混沌中提炼物理轨迹

PHYSIFORMER基于扩散模型（Diffusion Model）技术，其工作原理类比于雕塑家从粗糙石料中雕琢出精细雕像。

1. 流匹配框架（Flow Matching）

• 训练阶段：向正确的运动轨迹中注入随机噪声，使其模糊化。神经网络学习逆向操作：从噪声中还原出干净的物理轨迹。
• 推理阶段：从纯随机噪声出发，依据网络预测的“流向”逐步去噪，最终生成物理合理的轨迹。

2. 噪声尺度优化

由于处理的是原始三维坐标而非图像像素，信号尺度差异巨大。实验表明，使用标准高斯噪声的 1/10 (noise_scale=0.1)效果最佳：
* 噪声过小：泛化能力不足。
* 噪声过大：去噪任务过难，导致生成结果抖动杂乱。
* 推测原因：轨迹受初始状态强约束，有效信号范围较窄，小噪声尺度更适配。

3. 高效推理

采用 Heun积分器，默认50步迭代去噪。实验证实，25步即可达到近乎同等质量，推理速度提升一倍。

四、三重注意力机制：解构时空与物体关系

PHYSIFORMER基于扩散变换器（DiT）架构，针对物理模拟场景进行了核心改造，即注意力机制的三重分解，以解决计算复杂度爆炸问题（$O(T^2N^2)$）。

1. 空间注意力（Spatial Attention）

• 功能：处理同一时刻不同顶点间的关系。
• 操作：重组为T组（每组N个顶点），让每帧内部顶点相互关注，捕捉当前场景的“快照”状态。

2. 时间注意力（Temporal Attention）

• 功能：追踪单个顶点随时间的变化。
• 操作：重组为N组（每组T个顶点），贯通每个顶点的历史轨迹，捕捉时序运动信息。

3. 物体注意力（Object Attention）

• 创新点：团队独创设计。将属于同一物体的顶点归为一组，组内互相关注。
• 优势：
• 无需显式物体标签，模型自动学习“同组顶点应保持整体性”。
• 具备置换不变性：对物体输入顺序不敏感，无论先列出哪个物体，结果一致。
• 天然支持泛化：新增物体可无缝纳入处理流程。

计算效率提升：总计算量从 $O(T^2N^2)$ 降至 $O(TN^2 + NT^2)$，大幅优化效率，同时确保信息在时间、空间、物体三维度的充分流通。

五、坐标感知的位置编码

变换器模型本身缺乏位置感知。PHYSIFORMER引入旋转位置编码（RoPE）以注入空间与时间信息：

• 时间维度：使用标准一维RoPE，按帧序号编码。
• 空间维度：借鉴RenderFormer做法，将顶点三维坐标转换为旋转角度信息。
• 对x, y, z坐标分别乘以以2为底的对数间隔频率，转为正弦/余弦系数。
• 注入查询和键向量的旋转矩阵中。
• 效果：注意力强度自然受相对距离影响，邻近顶点更易互相关联，契合物理世界的平移不变性。

此外，模型引入16个全局注册词元（Register Tokens），通过平均聚合更新，作为场景级全局记忆，维持局部注意力操作间的信息连贯性。

六、数据集构建：Genesis仿真器生成十万级数据

研究团队利用Genesis物理仿真器，构建了四个规模递增的数据集：

1. D1 (10k)：刚性物体。1-5个凸多面体，4-20个顶点/物体。加入微小角度扰动以模拟不稳定倒塌。
2. D2 (15k)：扩展模板至25种凸形+10种凹形，顶点数增至88。
3. D3 (60k)：最大规模。混合起始位置（地面/空中），最多10个物体，部分含初始角速度。
4. D4 (20k)：弹性物体。固定杨氏模量，支持可见形变。

环境设置：
* 2米边长立方体容器。
* 近弹性碰撞，最小化摩擦力，保留阻尼以确保数值稳定。

训练策略：
* 阶段1：D1训练7万步 -> PHYSIFORMER-L-10k。
* 阶段2：D1+D2+D3微调2.7万步 -> 扩展刚体复杂性。
* 阶段3：D4微调1.2万步 -> 加入弹性能力（刚/弹比例6:4）。

七、性能对比：碾压自回归基线

研究团队设置了两类自回归基线进行对比：
1. $\Phi$AR框架：基于Transformer编码器，探索了上下文窗口扩展（ctx4）及训练噪声注入（ctx4_noised）。
2. TIE (Implicit Edge Transformer)：粒子动力学领域SOTA模型，测试不同交互半径（r=0.4, 1.0, 2.0, 3.5）。

量化结果（49帧轨迹预测）

关键发现：
* 稳定性：TIE和$\Phi$AR随时间推移性能急剧恶化；PHYSIFORMER在前10帧与49帧间差距温和，保持时间一致性。
* 视觉表现：自回归模型后期出现严重形变、漂移及穿透；PHYSIFORMER始终保持形状完整与运动合理。
* 归因分析：当自回归模型以真实数据逐帧输入时，误差骤降1-2个数量级。证明自回归模型具备学习能力，但架构本身的误差累积是性能瓶颈。

八、强大的泛化能力

PHYSIFORMER展现了惊人的泛化潜力：

1. 未见形状：训练仅用简单多面体（最多88顶点），测试时输入斯坦福兔子、茶壶等复杂网格（356顶点），仍能生成合理轨迹。
2. 未见物体数量：训练最多10个物体，测试15个物体时，仍能协调多体碰撞。得益于物体注意力的置换不变性。
3. 混合材质：训练集为纯刚体或纯弹性体，测试中混合刚性金属兔子与弹性橡皮鱼/茶壶，模型能正确区分材质并产生合理碰撞响应。
4. 采样优势：生成式框架允许多次采样取最优。在四种泛化设置下，单样本MSE在 $7.3 \times 10^{-4}$ 至 $1.1 \times 10^{-4}$ 之间；通过5次采样取最优，MSE可进一步降至 $5.5 \times 10^{-4}$ 至 $8.6 \times 10^{-4}$。

九、效率对决：神经网络 vs 物理仿真器

在配备80线程至强CPU的服务器上测试Genesis仿真器，对比PHYSIFORMER（H100 GPU, 25步去噪）：

• 刚体场景：
• Genesis：1-6.5秒/样本。
• PHYSIFORMER：~6.5秒/样本。
• 结论：速度相当。
• 弹性体场景：
• Genesis：20-36秒/样本（内部力学求解复杂）。
• PHYSIFORMER：~6.7秒/样本。
• 结论：PHYSIFORMER速度优势超过5倍。
• 鲁棒性：在仿真器因高速碰撞或复杂凹形体导致求解失败的场景中，PHYSIFORMER仍能给出物理合理的预测。

十、概率性生成：探索未来的多种可能

现实物理系统存在隐藏变量（质量、摩擦细节、初始偏差）。PHYSIFORMER的扩散框架将这些不确定性转化为生成多样性：

• 从同一初始条件出发，模型可采样出多条不同但均符合物理规律的轨迹。
• 这些轨迹代表了在不同隐藏参数取值下，系统可能的演化方向。
• 应用价值：在机器人规划、风险评估等场景中，提供多种可能未来比单一“最可能”预测更具决策参考价值。

总结与展望

PHYSIFORMER的意义不仅在于指标超越，更在于提供了一种新视角：物理运动预测无需硬编码刚性约束或复杂接触算法。一个通用的扩散变换器，配合正确的三维网格表示与充分数据训练，即可自发涌现出对物理规律的理解。

当前局限与未来方向：
1. 固定长度：目前仅支持49帧轨迹。未来可结合扩散强迫（Diffusion Forcing）实现长序列生成。
2. 网格精度：训练顶点上限356，精细网格效果打折。未来可引入空间压缩技术。
3. 穿透现象：纯扩散损失训练偶发穿透。未来可加入基于碰撞检测的物理约束损失。

这项工作证明，赋予机器物理直觉，或许无需繁琐的公式硬编码，只需优质的数据、表示与灵活的框架。这为机器人、游戏引擎、工程仿真及数字孪生领域带来了令人期待的信号。

Q&A

Q1：PHYSIFORMER和普通物理仿真器有什么区别？
A：传统仿真器需精确的物理参数（密度、摩擦系数等），计算量随复杂度剧增。PHYSIFORMER仅需初始位置、速度和粗略材质，通过神经网络一次性生成轨迹。对弹性物体，其速度比仿真器快5倍以上，且能处理仿真器失败的复杂场景。

Q2：PHYSIFORMER为什么不用自回归方式逐帧预测？
A：自回归方式的每一步误差会累积至下一步，导致后期物体形变、漂移或穿透。实验证明，自回归模型在理想条件下（逐帧真实输入）表现良好，说明问题在于架构导致的误差累积，而非学习能力不足。PHYSIFORMER一次性生成全轨迹，彻底规避此问题。

Q3：PHYSIFORMER如何在没有标记物体身份的情况下区分不同物体？
A：通过物体层面注意力（Object Attention）隐式编码。将同一物体的顶点归为一组并互相关注，模型自动学习同组顶点的整体一致性。该设计对物体数量和排列顺序不敏感（置换不变性），因此能直接泛化至训练时未见过的物体数量。

相关文章