首尔国立大学研究团队教会机器人"举一反三"

发布时间：2026-07-18 06:09:48 来源：安智兰德资讯网 作者：休闲

由首尔国立大学电气与计算机工程系主导的国立研究团队，于2026年7月在arXiv预印本平台发布了最新成果（论文编号：arXiv:2607.00666）。大学该研究提出了一种名为DART（Domain ARiThmetic，研究领域算术）的团队创新方法，旨在彻底解决机器人在环境发生微小变化后出现的教会机器“认知失效”难题，实现了仅需单次示范即可让机器人适应新环境的人举突破。

尽管机器人技术日新月异，国立但“泛化能力差”始终是大学制约其落地的核心痛点。传统模型在特定环境中训练完美，研究一旦遭遇摄像头视角改变、团队光照差异甚至硬件躯体更换，教会机器其表现往往断崖式下跌。人举这如同厨师在固定厨房中技艺精湛，国立一旦厨具布局变动便束手无策。大学对于家用服务机器人而言，研究这意味着在客厅训练的经验无法直接复用于卧室，每次环境变更都需耗费巨大成本重新采集数据并训练，效率极低。

DART的核心创新在于“零重新训练”。它通过提取新环境中的“环境特征”，将其叠加至预训练模型中，使机器人能在不修改结构、不重新训练的前提下，迅速适应新环境并完成所有既定任务。实验证实，DART在模拟及真实世界测试中，性能全面超越现有主流方法。

一、 困境解析：为何机器人“换地即失忆”？

要理解DART的价值，需先审视当前主流机器人系统的学习机制。以论文采用的π0.5和π0-FAST为例，这些系统属于视觉-语言-动作模型（VLA）。VLA将视觉输入、语言指令与动作输出整合于单一神经网络中，赋予机器人理解复杂指令并执行任务的能力。

然而，VLA模型高度依赖训练数据的分布一致性。当部署至新环境（如视角偏移、灯光改变、硬件更替）时，输入数据的分布发生漂移，导致模型性能急剧下降。这种现象类似于佩戴度数不符的眼镜，视觉信息扭曲导致原有知识无法对应。

目前主流的解决方案是数据微调（Fine-tuning），即在新环境中收集大量数据重新训练模型。但这存在两大致命缺陷：
1. 数据收集成本高昂：为每个任务单独采集专家示范数据耗时费力。
2. 灾难性遗忘（Catastrophic Forgetting）：少量数据微调易导致模型“覆盖”旧知识，即记住新任务却遗忘旧技能。

DART正是在这一两难困境中应运而生，试图在保持原有知识的同时实现快速适应。

二、 原理揭秘：神经网络权重中的“信息分离”

理解DART的关键在于解析神经网络权重（Weights）的本质。可将训练好的模型比作一本包含亿万个数字（权重）的“食谱书”，每个数字决定机器人对特定输入的反应。

微调过程本质上是修改这些权重。研究团队将微调前后的权重差值定义为“更新向量”（Update-vector）。通过深入分析，团队发现了一个关键现象：
* 任务信息与环境信息混杂：在单次示范微调中，更新向量主要包含“任务技能”信息，仅含少量“环境适应”信息。
* 泛化失败根源：由于环境信息占比极低，单次微调仅能让机器人记住该特定任务在新环境下的做法，而无法提升其对整体环境的适应能力，导致面对其他任务时依然失效。

三、 核心发现：任务与环境信息的正交性

研究团队进一步探究了任务信息与环境信息在权重空间中的分布规律。通过计算不同条件下更新向量的“子空间对齐分数”（Subspace Alignment Score），团队得出以下结论：
1. 任务方向共通性：同一任务在不同环境下的更新向量高度对齐，表明任务技能具有跨环境的通用性。
2. 环境方向独立性：同一环境不同任务的更新向量也存在一定的共性，表明环境适应信息具有特定方向。
3. 线性可分性：实验证实，更新向量可近似分解为“任务方向”与“环境方向”的线性叠加。不同环境变化（如视角、噪声、光照）对应权重空间中不同但有序的方向，且组合变化可复用单一变化的方向。

这一发现证明，任务知识与环境知识在神经网络中是分区存储且相互独立的，为后续的“加减法”操作奠定了理论基础。

四、 DART算法：基于“领域算术”的权重操作

受自然语言处理中“国王 - 男人 + 女人 = 女王”的词向量运算启发，DART在机器人权重空间实施了类似的算术操作：

1. 提取源域更新向量：在原始训练环境（源域）中，使用同一任务的一次示范微调模型。
2. 提取目标域更新向量：在新环境（目标域）中，使用同一任务的一次示范微调模型。
3. 计算领域向量（Domain Vector）：将目标域更新向量减去源域更新向量。由于任务方向相同，相减后任务信息被抵消，剩余部分即为纯粹的“环境适应向量”。
4. 模型适配：将领域向量加回原始基础模型，生成适应新环境的“新版本”机器人。

此过程无需重新训练，仅需一次示范，极大降低了部署成本。

五、 优化机制：去噪与精准缩放

直接相减可能引入噪声及源域干扰，DART引入了两项精细化处理：

• 子空间过滤（Subspace Filtering）：利用奇异值分解（SVD）将更新向量分解为基本方向。通过计算对齐分数，保留源域与目标域共有的“任务方向”，过滤掉源域特有的噪声方向，确保减法操作仅针对有效信息。
• 子空间缩放（Subspace Scaling）：根据源域与目标域的整体对齐分数，对领域向量进行动态缩放。对齐分数低时降低影响权重，分数高时保留较强影响，从而平衡适应强度与稳定性。

最终公式概括为：适应模型 = 基础模型 + α × 精炼领域向量。其中系数α具有鲁棒性，无需精细调参。

六、 性能验证：模拟与真实世界的双重突破

研究团队在LIBERO基准平台及真实机器人上进行了全面测试：

1. 模拟环境测试（LIBERO平台）

• 视角偏移测试：在π0.5模型上，原始零样本模型在大视角偏移下成功率仅11.3%；一次性微调因泛化失败降至31.5%。DART在相同条件下，小、中、大视角偏移成功率分别达92.0%、80.8%、64.4%，平均79.1%，显著优于RETAIN（69.6%）和FLA（74.3%）。
• 复杂扰动测试：在视角+噪声+光线变化的最复杂场景下，DART成功率达75.0%，领先第二名FLA（71.5%）。

2. 跨躯体迁移测试

• 将Panda机械臂训练的模型迁移至UR5e机械臂。在“叠放三块积木”等高难度任务中，零样本成功率37.2%，微调降至28.0%，而DART提升至45.4%，证明其具备硬件泛化能力。

3. 真实世界测试（UR10e机械臂）

• 仅使用“叠积木”任务的一次示范，DART使机器人在捡茄子、柠檬、胡萝卜及按压订书机等五个任务上的平均成功率从43.3%跃升至81.7%。其中捡取任务成功率高达91.7%，远超FLA的55.0%。

4. 架构无关性

• DART同样适用于π0-FAST（自回归动作生成）模型，证明其不依赖特定模型架构。

七、 进阶特性：领域向量的合并存储与抗遗忘

• 综合领域向量：DART允许将不同环境（如小、中、大视角）的领域向量合并为一个“综合向量”。该综合向量可使机器人同时适应多种环境，平均成功率达75.7%，大幅降低了多环境部署的存储与管理复杂度。
• 抗遗忘能力：适应新环境后，机器人在原始训练环境中的成功率仅下降2-3个百分点（如从96.9%降至94.0%），有效避免了灾难性遗忘。

八、 实施细节与效率优化

• 源域数据获取：无需额外采集源域数据，直接利用预训练数据中的第一条轨迹即可。若源域与目标域任务不完全匹配，通过特征余弦相似度筛选最相关任务，性能仍可维持在69.0%（远高于随机匹配的57.7%）。
• 计算加速：采用随机化奇异值分解（Randomized SVD）将计算时间从15分35秒缩短至6分33秒，性能损失可忽略不计（79.1% vs 78.7%）。
• 消融实验：验证了子空间过滤与缩放步骤的必要性，两者结合效果最佳。

九、 深层机理：为何DART有效？

DART的成功源于VLA模型的内在结构特性：
1. 正交子空间存储：预训练模型倾向于将不同任务的知识存储于权重空间中相互正交的子空间，互不干扰。
2. 特征影响分区：任务原型主要影响语言Token及物体特征，环境原型主要影响背景图像特征，两者作用区域分离。
3. 全模型适应必要性：视角变化不仅影响视觉编码，还波及语言推理模块。仅适应视觉编码器（如FLA方法）在大视角下表现不佳（54.3%），而DART的全模型适应策略（64.4%）更为有效。

总结而言，DART通过提取“环境密钥”，实现了从“重新训练”到“举一反三”的范式转变。它证明了只需一次示范，即可通过权重算术解锁机器人的环境适应能力。

Q&A

Q1：DART方法需要多少次示范才能让机器人适应新环境？
A：仅需两次示范：一次在新环境（目标域），一次在原始训练环境（源域）。源域示范通常可直接从预训练数据中获取，无需额外采集。这两次示范足以提取环境差异向量，实现全任务适应。

Q2：DART适应后机器人会不会忘记原来学会的任务？
A：几乎不会。实验显示，适应新环境后，机器人在原始环境中的成功率仅下降约2-3个百分点。相比直接微调导致的严重遗忘，DART能极好地保留原有知识。

Q3：DART只适用于摄像头角度变化，还是也能处理换机器人躯体的情况？
A：DART具有广泛的适用性。研究验证了其不仅能处理视角偏移、光照噪声等视觉扰动，还能实现跨躯体迁移（如Panda到UR5e）。其核心算法无需针对特定变化类型进行修改。

相关文章