北卡罗来纳大学等团队打造了一套刁钻的评分系统

发布时间：2026-07-17 08:03:39 来源：安智兰德资讯网 作者：综合

这项由北卡罗来纳大学教堂山分校、罗纳约翰斯·霍普金斯大学、大学等团队打刁钻的评艾伦人工智能研究所（AI2）和德克萨斯大学奥斯汀分校联合开展的造套研究，于2026年6月24日以预印本形式发布，分系论文编号为arXiv:2606.25306。罗纳感兴趣的大学等团队打刁钻的评读者可以通过这个编号在arXiv平台上找到完整的原始论文。

从一碗"假水"说起

假设你让一台AI视频生成系统制作这样一段视频：一块厨房纸巾被一个夹子夹着，造套放进一个盛有浅蓝色液体的分系浅碟子里。按照现实中的罗纳物理规律，纸巾应该会把液体吸进去，大学等团队打刁钻的评逐渐变湿、造套变重、分系变色。罗纳但这套系统生成出来的大学等团队打刁钻的评视频却呈现出完全不同的景象：纸巾不是吸收了液体，而是造套直接溶解消失在液体里，就像一块方糖掉进热水里一样。

这显然是个荒谬的物理错误，任何有生活常识的人一眼就能看出来。然而，现有的那些用来评判AI视频好不好的打分系统，却往往对这种错误视而不见——它们只看视频画面是不是清晰漂亮、颜色是不是搭配协调，却不深究视频里的物理现象是否符合现实逻辑。这就好比一位食评家只看菜肴的摆盘是否精美，却完全不管食材是否新鲜、口味是否合理。

正是为了解决这个问题，一支来自多所顶尖研究机构的团队开发出了一套名为"物理问题场景图"（Physics Question Scene Graph，简称PQSG）的全新评估体系，并配套收集了一个叫做FinePhyEval的人工标注数据集，专门用来检验AI视频生成系统在物理现实层面的表现。

一、现有打分系统为何"看不穿"物理错误

要理解为什么需要一套新的评估工具，得先搞清楚现有的评分系统在做什么，以及它们哪里不够用。

目前学界常用的AI视频评估方法，大多把视频质量压缩成一个或几个笼统的分数。比如，有的系统会计算视频画面和文字描述在语义上的相似度，有的会对比视频的视觉风格是否足够真实，还有的会用深度学习特征来衡量视频的整体质量。

这些方法有一个共同的弱点：它们太容易被表面的精美外观所蒙骗。一段纸巾溶解在液体里的视频，画面可能非常清晰流畅，颜色搭配也很好看，如果只看这些外在指标，评分系统可能会给它打出相当高的分数。但真正的问题——纸巾根本不该溶解——却被完全忽略了。

更根本的问题在于，判断一个物理现象是否合理，本身就有严格的逻辑顺序。以一个小球从高处落下的场景为例：首先，你得确认视频里确实有一个球（对象存在）；其次，你得看这个球是否在做下落的动作（动作正确）；最后，才能去判断它下落的轨迹、速度、落地时的弹跳方式是否符合重力规律（物理合理性）。如果连球都不存在，或者球根本没有在动，那讨论"落地弹跳是否合理"就完全没有意义，反而可能产生误导性的判断。现有系统把这三层完全不同的问题混在一个分数里，既说不清楚视频哪里出了问题，也无法给出有针对性的改进建议。

二、PQSG：一份带依赖关系的"核查清单"

PQSG的核心思路，可以用一个法庭审判的比喻来理解。

在法庭上，法官不会只给被告打一个笼统的"有罪/无罪"分数。相反，陪审团会逐条审查证据：这个人当天在案发现场吗？他有作案动机吗？物证是否指向他？每一条质疑都建立在前一条的基础上——如果能证明他当时根本不在现场，后面关于动机和物证的讨论就可以直接跳过了。

PQSG用的正是这种层层递进、环环相扣的审查逻辑。它把对一段视频的评估分解成三个层次的问题。

第一层叫做"对象核查"，专门检查视频里是否出现了文字描述中提到的物体。对于那段纸巾实验的视频，这一层的问题可能是：视频里有夹子吗？有纸巾吗？有盛液体的浅碟子吗？

第二层叫做"动作核查"，负责确认视频里的物体是否在做描述中要求的动作。这一层的问题可能是：夹子有没有把纸巾释放？纸巾有没有接触到液体？

第三层叫做"物理核查"，才是真正考察物理合理性的地方。这里的问题可能是：液体有没有逐渐渗入纸巾？纸巾的湿润范围有没有随时间扩大？

三个层次之间存在严格的依赖关系：只有当某个对象被确认存在后，才会去检查它的动作；只有相关动作被确认发生后，才会去评判物理合理性。如果一个问题的回答是"否"，那么依赖于它的所有后续问题，会自动被标记为"否"，而不是凭空去假设和判断。这种设计在数学上叫做"有向无环图"（DAG），通俗地说，就是一张有箭头、不转圈的流程图。每个问题就是图上的一个节点，箭头指向依赖关系，确保每一个问题都在合适的前提下被提出。

每个问题都是简洁的是非题，用现在时态提出，比如"纸巾是否与液体接触？"或者"液体是否渗入纸巾表面？"。整个评估流程分为两个步骤：第一步，用一个视觉语言模型（可以理解为同时能看图和读文字的AI）根据文字描述自动生成这张问题图；第二步，用另一个视觉语言模型把生成的视频和这些问题放在一起，逐一回答每道是非题，并给出理由。最终，各个层次的"是"的比例，就分别转化为对象分数、动作分数和物理分数，三者合并后得到总体评分。

值得一提的是，研究团队发现，如果直接要求AI模型只回答"是"或"否"，模型往往会跳过深入思考，直接给出一个机械的答案。于是他们设计了一个小技巧：先让模型用自由语言写出对问题的完整判断和分析，再让同一个模型把这段分析归纳为"是"或"否"。这种两步走的方式，给了模型充分思考的空间，也让最终的判断更加准确。

三、FinePhyEval：专门为这场考试准备的"真题库"

光有评估方法还不够，还需要有一套可靠的参考答案来验证这套方法是否真的管用。为此，研究团队建立了FinePhyEval数据集。

这份数据集的文字提示，全部来自一个名为Physics-IQ的已有数据集。Physics-IQ专门收录了用于测试AI视频生成系统物理理解能力的提示语，每条提示都描述一个涉及真实物理现象的场景，从固体力学、流体动力学，到光学、热力学、磁力学，覆盖范围相当广泛。研究团队选取了其中全部65条提示，分别送入三个当前最先进的商业视频生成系统：OpenAI的Sora 2、谷歌的Veo 3，以及开源模型Wan 2.1，每个系统各生成65段视频，总计195段视频进入最终数据集。此外，研究团队还额外评估了一个名为Cosmos-Predict2.5-14B的模型，这个模型由英伟达公司开发，其设计初衷是成为一个专门理解物理世界的模拟器。

这些视频在格式上有些差异：Sora 2生成的是4秒、720×1080分辨率、每秒30帧的视频；Veo 3生成的是4秒、1280×720分辨率、每秒24帧的视频；Wan 2.1则生成5秒、1280×720分辨率、每秒16帧的视频。整个数据集的平均视频时长只有4.39秒，看似短暂，却藏着大量复杂的物理交互。

接下来，8位不是论文作者的人类评估员对每段视频进行了打分。他们使用1到5分的量表，分别对视频在四个维度上打分：对象存在度、动作准确度、物理合理性，以及一个综合的整体质量判断。总计收集了780个人类判断分数。评估员收到了详细的评分指引，要求他们像审查真实拍摄的视频那样来看待这些AI生成的内容，不因为"这是AI生成的所以有些瑕疵是正常的"而降低标准，要严格对照文字描述检查每一个对象和动作，物理合理性的判断则完全依据真实世界的物理规律，不受文字描述影响。

为了评估生成问题的质量，研究团队还专门人工标注了20条提示对应的标准问题集，并收集了人类评估员对30段视频中问题的人工回答，形成444个"问题-答案"对，作为衡量AI系统问答能力的标准参照。

研究团队还计算了人类评估员之间的一致性程度，采用了两种统计指标——组内相关系数（ICC）和克里彭多夫阿尔法值（Krippendorff's Alpha）。平均ICC达到0.840，被认为是"优秀"水平；平均阿尔法值为0.592，属于"中等"水平。有趣的是，物理合理性这个维度的人类一致性是四个维度中最低的——研究团队认为这是因为当视频的物理错误比较严重、比较主观时，不同的人会有不同的容忍度和关注重点。不过0.773的ICC依然相当不错，足以支撑后续的分析。

四、测试结果：PQSG比现有方法更懂人类的感受

有了数据集和人类判断作为参照，研究团队就可以客观地对比PQSG和其他现有方法与人类评分的符合程度了。

评估相关性用了三种统计指标：皮尔逊相关系数（衡量两组数字之间线性关系的强弱）、肯德尔系数和斯皮尔曼系数（两者都衡量排名顺序的一致性）。分数越高，表示该评估方法和人类判断越接近。

在所有参与对比的评估方法中，包括VideoScore、VideoPhy-2-Autoeval、PhyGenEval，以及直接让AI给视频打1到5分的简单方式（研究者称之为"直接视觉问答"），PQSG在使用GPT-5.5作为问答模型时，皮尔逊相关系数达到0.478，肯德尔系数达到0.336，斯皮尔曼系数达到0.456，全面超过了其他方法。DSG这个专门为图像生成设计的问题图方法，也被包含在对比中——它在应用于视频时表现相当平庸，因为它压根没有考虑视频中的时序动作和物理交互，只能看静态信息。

此外，研究团队还发现了一个颇具启发性的规律：当人类评估员给一段视频打"整体质量"综合分时，物理合理性维度的人类分数与整体分数的相关性高达0.85，而动作准确度的相关性是0.66，对象存在度的相关性只有0.44。换句话说，人类在判断一段视频的整体好坏时，最重视的其实是物理是否合理，其次才是动作是否准确，最后才是东西有没有出现。这一发现为研究团队专注于物理评估提供了有力的支撑。

研究团队还分别计算了PQSG三个维度的分数与人类对应维度打分的相关性。在对象维度，PQSG（用GPT-5.5回答问题）的分数与人类对象分数的皮尔逊相关系数为0.59；在动作维度是0.68；在物理维度是0.48。当把AI问答换成人类问答，这三个数字分别变成0.59、0.73和0.57。这说明AI在判断对象存在方面已经和人类打分高度一致，在动作方面还有一定差距，在物理方面差距最大——而这恰恰也是最难的部分。

五、四大模型的物理大考成绩单

利用PQSG对四个视频生成系统进行全面评估后，结果相当清晰。

Veo 3在总体得分上略高，达到0.80，Sora 2紧随其后，得分0.78。开源模型Wan 2.1的总分是0.59，Cosmos-14B是0.62。闭源商业模型明显领先于开源模型。

更值得关注的是各维度的表现模式。四个模型在对象维度的得分都相当高，平均达到0.93，说明生成正确的物体对当前的AI系统来说基本上已经不成问题。Veo 3在这个维度几乎完美，得分高达0.98。但进入动作维度，得分就明显下滑，四个模型平均只有0.66。到了物理维度，平均得分进一步降至0.57，是三个维度中最低的。Wan 2.1和Cosmos-14B的物理分数都只有0.46，连一半都没到。

这意味着，即便是专门为模拟物理世界而设计的Cosmos-14B，在物理合理性测试上的成绩也和Wan 2.1打了个平手，并没有因为其"物理模拟器"的设计目标而获得任何优势。这个结果颇耐人寻味，说明把"理解物理"作为设计目标，和真正在生成视频时做到物理合理，之间还有相当大的差距。

每个维度的分数波动也很小——经过三次独立的问题生成运行后，各模型的得分区间都很窄，说明PQSG的评估结果相当稳定，不会因为随机性而产生大幅波动。

六、AI生成问题还行，AI回答问题差强人意

研究团队还专门评估了PQSG两个核心步骤各自的表现。

在问题生成方面，表现令人满意。把Gemini-2.5-Pro和GPT-5.5各自生成的问题，与人工标注的标准问题集进行比对，衡量准确率（精确度）和覆盖率（召回率）。Gemini-2.5-Pro在两个指标上都达到95.2%；GPT-5.5的精确度是92.0%，召回率则更高，达到99.6%，几乎不遗漏任何要点。出现的少量偏差，主要是因为AI系统有时没能预判到场景中可能发生的衍生物理状态，比如没有考虑到主要对象之外的其他物体可能产生的互动。总体而言，用现有AI系统自动生成PQSG问题图是完全可行的。

在问题回答方面，情况就没那么乐观了。Gemini-2.5-Pro在对象类问题上回答正确率达87.6%，在动作类问题上只有59.5%，在物理类问题上是61.5%。GPT-5.5略好一些，分别是88.4%、63.4%、64.6%，但物理类问题的正确率也只有六成出头。

研究团队通过仔细分析错误案例，发现了两个明显的失误模式。第一个是"是"偏见——AI模型倾向于对问题回答"是"，即使视频里的情况并不符合。比如在一段燃烧纸张的视频里，GPT-5.5把几乎所有物理问题都回答成了"是"，但人类评估员发现有好几个答案应该是"否"，例如烟雾并没有按照热对流的规律向上散逸，而是横向喷射。第二个问题是AI会把自己对世界的常识性认知投射到视频判断上，比如认为"烟雾通常是往上飘的"，于是即使视频里的烟雾明显在横向移动，它也会回答"是，烟雾按照热对流向上散逸"。

正因如此，当把问题回答这一步替换成人类来做时，PQSG与人类整体评分的皮尔逊相关系数从0.48大幅跃升至0.80。这表明PQSG框架本身设计的上限很高，当前的主要瓶颈在于AI回答物理问题的能力，而不是框架本身的局限。

七、PQSG还能直接帮助改进视频生成

研究团队还测试了一个更加实际的应用场景：能不能把PQSG的评分反馈直接用来改进AI生成的视频？

具体做法是这样的：先用Wan 2.2（Wan系列的更新版本）生成一段视频，然后用PQSG评估，找出哪些方面得分低。再把这些低分反馈交给GPT-5.5，让它根据反馈重新改写提示文字，然后再生成一段新视频。这个过程循环进行，每次都在上一次的基础上改进。

结果显示，从第0次迭代到第1次迭代，平均PQSG分数提升了将近15个百分点。第2次迭代后，分数进一步上升，最终稳定在81.9%左右，之后的迭代不再有明显提升。整个过程中，不需要修改模型的参数或重新训练，只是通过不断完善文字描述来引导模型生成更符合要求的视频。作为对比，另一个评估方法VideoPhy-2-AutoEval在同样的迭代循环中也有所提升，但幅度要小得多。

这个结果说明，PQSG不只是一个打分工具，更可以成为一个实用的视频生成优化助手——它能精确指出视频哪里出了问题，帮助创作者（或AI系统）有针对性地改进，而不是只给出一个模糊的"不够好"的判断。

八、把设计选择拆开来验证

研究团队还进行了一系列控制实验，逐一验证PQSG各个设计选择的必要性。

去掉依赖图关系（即不再自动把依赖失败问题的答案标为"否"），整体相关系数从0.48下降到0.44，在人类回答条件下从0.80下降到0.75。去掉细粒度问题体系（直接对三个维度各打一个分，不再拆解成多个具体问题），相关系数进一步下降到0.40，人类回答条件下下降到0.68。两种改动都使评估质量明显下滑，证明精细的问题分解和逻辑依赖关系各自都有其不可替代的价值。

研究团队还尝试过在生成问题时给AI提供参考视频（即那段场景真实发生时的正确视频），但这反而让效果变差——AI模型开始关注参考视频里出现的细节，而不是专注于文字提示本身的要求，导致生成的问题偏离重点。此外，研究团队还尝试用不同的方式在提示里区分"动作"和"物理"问题，但发现这样做反而让AI模型更难生成连贯合理的问题，效果也不如原始设计。

为了验证PQSG在不同数据集上的通用性，研究团队还在VideoPhy-2数据集的100个视频上做了测试，同样取得了优于原有方法的相关性，说明PQSG的设计具有较好的泛化能力，不局限于特定的评估场景。

归根结底，一张会追问的评分卡

说到底，PQSG做的事情，就是把一个简单的"好不好"问题，拆解成了一系列环环相扣的"哪里好、哪里不好、为什么不好"。这种思路本身并不复杂，但它击中了现有评估方法的一个根本性盲区：你不能用一个单一数字来描述一个需要层层前提条件才能成立的判断体系。

这项研究的意义不只在于提供了一个更好的打分工具。它背后隐含的洞见是：物理合理性之所以难以评估，恰恰是因为它在逻辑上依赖于更基础的东西——你得先确认场景是真实的，才能判断物理是不是对的。现有的那些方法把这些层次混在一起，结果既看不清问题在哪，也给不出有价值的改进方向。

随着AI视频生成技术越来越强，单纯靠画面美不美来评分的时代正在过去。机器人训练、游戏场景生成、科学教育视频制作……这些应用都需要生成出来的视频不只是好看，还得是真实可信的。PQSG这类细粒度评估工具，将会在这些场景里扮演越来越重要的角色。

至于当前系统最大的短板——物理类问题的回答正确率只有65%左右——研究团队认为，随着视觉语言模型本身能力的不断提升，这个数字会逐步改善，PQSG与人类判断之间的差距也会随之缩小。这是一个从工具设计到底层模型能力同步进化的过程。

如果你想深入了解这项研究的完整细节，可以在arXiv平台上搜索编号2606.25306查阅原始论文。

Q&A

Q1：PQSG评估系统和普通的AI视频评分方法有什么区别？

A：普通的AI视频评分方法通常只给出一个笼统的综合分，无法告诉你视频哪里出了问题。PQSG则把评估拆解成三个层次：视频里的对象存在不存在、动作对不对、物理交互合不合理，而且三个层次之间有严格的逻辑依赖关系。如果一个对象不存在，关于它的动作和物理问题就会自动跳过，不会凭空臆断。这种设计让评估结果更精准，也能直接指出视频具体在哪个环节出了问题，而不是给你一个模糊的低分。

Q2：FinePhyEval数据集里的视频涵盖了哪些物理现象？

A：FinePhyEval数据集使用的65个文字提示全部来自Physics-IQ数据集，覆盖五大物理领域：固体力学（38个场景，比如物体碰撞、形变）、流体动力学（15个场景，比如液体倒入容器、纸巾吸液）、光学（8个场景，比如镜面反射、折射）、热力学（3个场景，比如燃烧过程）和磁力学（2个场景）。所有提示的共同特点是涉及多个物体之间的复杂交互，不是简单的静态场景描述。

Q3：为什么现有的AI视频生成模型在物理场景上表现这么差？

A：从PQSG的评估结果来看，问题主要出在两个环节。一是视频生成模型本身：即便是Sora 2和Veo 3这样最先进的商业系统，物理维度的平均得分也只有0.68和0.69，意味着将近三分之一的物理细节是错的。二是评估模型的能力：当前最好的视觉语言模型GPT-5.5在回答物理类问题时，正确率也只有64.6%，而且容易产生"偏向回答是"的错误。两个环节各有瓶颈，共同导致AI在物理真实性上与人类认知还有较大差距。

相关文章