延世大学与首尔大学联手：让AI真正"看懂"3D场景里的每一件物体

发布时间：2026-07-17 06:21:36 来源：安智兰德资讯网 作者：休闲

这项由延世大学（Yonsei University）与首尔大学（Seoul National University）联合完成的延世前沿研究，已于2026年6月28日以预印本形式发布。大学大学懂论文编号为 arXiv:2606.29513，联手里感兴趣的真正技术读者可通过该编号获取完整论文及代码细节。

人类视觉系统拥有一种令人惊叹的场景能力：在踏入客厅的瞬间，大脑便能将连续的每件空间瞬间解构为“沙发”、“桌子”、物体“椅子”等独立物体。延世然而，大学大学懂当前主流的联手里3D场景重建技术却与之背道而驰——它们将场景视为无数密集的“点云”或“高斯气泡”，缺乏对物体边界的真正本质认知。本研究旨在解决这一核心痛点，场景通过引入实例结构化（Instance-Structured）的每件表示方法，让机器在重建之初即以“物体”为单位进行理解，物体而非事后修补。延世

一、 核心痛点：从“堆积木”到“认积木”的范式转变

1. 传统方法的“表示不匹配”

现有主流技术（如3D高斯溅射，3D Gaussian Splatting）利用半透明气泡填充空间，虽能生成逼真图像，但缺乏“物体意识”。每个气泡仅记录局部几何与颜色，无法感知自身属于哪个整体物体。

2. 语义标签的局限性

研究者曾尝试为每个气泡附加来自2D大模型的语义特征向量。这种做法存在两大缺陷：
* 存储冗余：同一物体的语义信息被重复存储成千上万次，效率极低。
* 操作困难：若需移动或替换物体，需先检索并重组分散的气泡，流程繁琐且易出错。
* 本质缺失：气泡作为局部碎片，无法自然涌现出“整体性”上下文，必须依赖复杂的后处理来重建物体边界。

核心观点：问题不在于特征不够聪明，而在于基本表示单位错误。研究团队主张让机器从一开始就以“物体”为单元进行建模，而非先堆砌碎片再行拼接。

二、 创新框架：实例结构化3D词元组（IS-3D-Tokens）

研究团队提出了一种名为“实例结构化3D词元组”的新架构，其核心逻辑可概括为“身份证+详细档案”的两层结构：

1. 群组词元（Group Token）——“身份证”
2. 为场景中识别出的每个物体生成一个唯一的群组词元。
3. 记录物体的类别、大致位置、尺寸及全局语义摘要。
4. 锚点词元（Anchor Token）——“详细档案”
5. 每个物体拥有一组锚点词元，负责记录局部区域的几何形状与外观细节。
6. 锚点进一步生成用于渲染的3D高斯气泡。

关键优势：
* 分工明确：群组词元负责“身份识别”，锚点词元负责“细节渲染”。
* 原生边界：无需后处理，物体边界在表示层面即已确立。
* 无姿态输入：仅需几张无相机位姿信息的普通照片，系统即可在一次前向推断中完成场景分解与重建。

三、 训练机制：双重目标与“拼图”竞争

1. 双重优化目标

系统通过两个并行目标进行训练：
* 重建保真度：渲染图像需尽可能接近真实照片，确保几何与外观准确性。
* 语义一致性：物体边界需匹配真实的2D实例分割图，确保识别准确性。

2. Softmax竞争机制

为解决锚点归属问题，系统引入Softmax竞争机制：
* 每个锚点词元与所有群组词元计算相似度分数。
* 通过归一化操作，锚点最终归属于相似度最高的群组词元。
* 这种“投票”机制促使群组词元相互竞争，从而形成清晰的物体边界。

3. 训练“热身期”策略

为避免几何未稳定时分割损失导致的梯度冲突，研究团队设计了渐进式监督：
* 前1500步：仅优化几何重建，分割监督信号为零。
* 后续阶段：几何稳定后，逐步引入物体分割损失。
* 效果：实验证明，此策略显著提升了分割性能，优于先分别训练再合并的方案。

4. 空白通道设计

引入“空白通道”接收不属于任何有意义物体的锚点（如边缘噪声），使系统能更干净地处理背景与非物体区域。

四、 高效语义存储：摘要与残差的智慧

传统方法为每个气泡存储高维特征向量（如512维），导致存储爆炸。本研究采用分解式存储策略：

• 群组级语义特征：每件物体仅存储一个512维的向量作为“语义摘要”。
• 锚点残差：每个锚点仅存储一个8维的向量，记录局部与整体摘要的差异。
• 合成渲染：最终语义特征 = 物体摘要 + 局部残差。

性能对比：
* 存储压缩：语义信息量从840万数值（Uni3R方法）压缩至5.94万数值，缩减超140倍。
* 精度提升：语义检索精度（mIoU）从0.558提升至0.657。
* 原理：同一物体内部语义高度相似，仅需少量残差即可捕捉局部差异。

五、 系统工作流：从图像到结构化场景

1. 几何基础提取：输入多张无姿态照片，通过预训练几何模型（VGGT）生成密集3D坐标图（点图）及上下文特征集合。
2. 词元初始化：
3. 锚点词元：通过最远点采样选取1024个代表位置，初始化锚点。
4. 群组词元：随机初始化100个可学习嵌入向量，代表潜在物体实例。
5. 双变换器处理：
6. 图像-锚点变换器：锚点通过交叉注意力从上下文汲取信息，融合局部几何与全局场景感知。
7. 锚点-群组变换器：群组词元聚合所有锚点信息，整合物体整体特征。
8. 高斯气泡生成：每个锚点通过小型网络生成32个3D高斯气泡（位置、大小、旋转、透明度、颜色），气泡继承父锚点的归属概率，最终形成最多100个物体实例的集合。

六、 实验结果：全面领先的性能表现

在ScanNet室内场景数据集上的评测显示，该方法在三大核心任务中表现卓越：

1. 开放词汇语义特征提取

• mIoU达到0.657，大幅领先C3G (0.513)、Uni3R (0.558) 和 LSM (0.512)。
• 优势来源：实例级语义存储保证了同一物体内部语义的一致性，这是逐气泡存储方法无法比拟的。

2. 新视角重建质量

• 室内场景：Uni3R在PSNR和SSIM上略优（因使用更高密度的13.1万个气泡），本研究使用约3.3万个气泡。
• 泛化能力：在零样本迁移至MipNeRF360户外场景时，本研究PSNR达16.52（Uni3R为14.58），SSIM和LPIPS均更优。
• 结论：锚点-群组结构学到了更具泛化能力的场景先验，而非过拟合训练数据。

3. 类无关实例分割

• AP指标达到0.235，显著超越需逐场景优化的Gaussian Grouping (0.139)、ObjectGS (0.178) 及IGGT+LUDVIG (0.122)。
• 意义：证明了原生实例结构在分割任务上的天然优势，无需后期费力重建边界。

七、 应用能力：从理解到操作

1. 场景编辑

• 操作直接：移走、移动或插入物体，只需对对应的词元组进行删除、刚体变换或复制。
• 无需后处理：所有操作直接作用于前向推断产出的词元组，避免了传统方法中繁琐的身份标注与合并流程。

2. 开放词汇3D实例检索

• 高效匹配：文本或图像查询直接匹配物体层面的语义嵌入（最多100个实例），而非遍历数万个气泡。
• 结果连贯：检索结果天然为完整、空间连贯的物体实例，无需聚合后处理。

3. 鲁棒性与泛化

• 在RealEstate10K数据集（使用SAM2伪标签）上的实验表明，系统对监督噪声具有容忍性，即使伪标签存在错误，仍能学出相对一致的物体边界。

八、 关键设计消融验证

• 联合训练必要性：顺序训练导致分割AP从0.193暴跌至0.032。重建与分割目标必须共同训练，相互强化。
• 热身期必要性：无热身期方案AP仅为0.081，早期强分割损失会破坏几何稳定性。
• 特征分解有效性：
• 仅用锚点残差：mIoU 0.524（容量不足）。
• 仅用群组嵌入：mIoU 0.635（捕捉大部分语义）。
• 两者结合：mIoU 0.657（捕捉局部差异，效果最佳）。

九、 局限性与未来展望

当前局限

• 场景范围：主要验证于有界室内场景，室外及大规模城市场景尚待验证。
• 实例上限：100个群组词元的上限可能在复杂场景中成为瓶颈。
• 动态场景：当前假设场景静止，无法处理运动物体。

未来方向

1. 结合大语言模型（LLM）：将场景压缩为100个词元组，便于LLM进行语言推理。需要细节时再查询锚点层，实现“语言指导的3D场景操作”。
2. 机器人感知前端：为机器人提供场景照片，系统输出物体实例句柄。机器人可通过语义嵌入定位指令（如“拿书”），并利用词元组接口进行物理操作规划，计算复杂度仅与物体数量相关，效率远超传统方法。

结语

这项研究的本质突破在于：它让机器在理解3D场景时，从“看到一堆点”进化为“看到一件件物体”。这种理解并非后处理产物，而是场景重建的原生结构。这一转变使得场景编辑、语义检索等功能变得直接而自然，为未来的AR眼镜、家用机器人及智能家居系统提供了更接近人类直觉的空间理解能力。

Q&A

Q1：实例结构化3D词元组和传统3D高斯溅射的根本区别是什么？
A：传统3D高斯溅射将场景表示为数万个独立的几何“气泡”，缺乏物体边界概念，需额外处理才能识别物体。实例结构化3D词元组直接以物体为单位组织表示，每件物体拥有专属的“身份词元”和“细节词元”，物体边界是表示的原生结构，无需后处理重建。

Q2：这套系统需要人工标注3D物体信息来训练吗？
A：不需要任何3D标注。系统完全通过2D图像监督学习：RGB图像监督几何重建质量，2D实例分割图（人工标注或SAM2伪标签）监督物体边界。3D层面的实例结构自然地从2D监督中涌现，不依赖昂贵的3D标注数据。

Q3：实例结构化3D词元组的语义检索为什么比传统方法高效？
A：传统方法需在数万个气泡中遍历并聚合结果。实例结构化词元组仅在物体层面存储共享语义摘要，检索时直接在最多100个物体嵌入上匹配。复杂度与物体数量而非气泡数量成正比，效率提升数百倍，且检索结果天然为完整连贯的物体实例。

相关文章