98年哈工大教授带队，破晓智能要把触觉写进机器人基础模型

发布时间：2026-07-18 07:12:32 来源：安智兰德资讯网 作者：热点

机器人伸出食指，年哈精准按向喷壶扳机。教授觉写进机基础镜头中，破晓指尖已贴合按钮，把触系统判定动作完成，器人但水并未喷出。模型

从视觉角度看，年哈一切似乎完美无缺。教授觉写进机基础然而，破晓指尖仅接触而未施加足够压力。把触对于摄像头而言，器人“手指贴附”与“按钮按下”的模型画面差异极小；但触觉传感器能直接反馈：是否接触、受力点及力度是年哈否达标。

针对此类“视觉正确但物理失败”的教授觉写进机基础痛点，破晓智能（PHANES AI）创始人、破晓哈工大（深圳）长聘教授杨朔及其团队发布了最新研究成果：TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation。

TouchWorld 赋予触觉双重职能：行动前预测“预期接触状态”，接触后依据实时反馈快速纠错。在浇花、桌面清理、插拔电源、杯具插入、擦锅及抽纸巾六项真机任务中，TouchWorld 在无干扰场景下平均成功率达 65.0%；引入目标移动、抓握扰动等人为干扰后，成功率仍保持在 57.2%，分别超越最强基线模型 15.7 和 16.0 个百分点。每项任务均采集 200 条遥操作训练轨迹，并完成 100 次真机评测。

杨朔，破晓智能（PHANES AI）创始人、哈工大（深圳）长聘教授、博士生导师。曾获 Google PhD Fellowship（当届全球仅 9 人获奖），博士论文入选 ICLR Best Paper Finalist。26 岁回国任哈工大（深圳）长聘教授、博导，同年获评国家级青年人才。目前，他创立破晓智能，组建了一支涵盖数据、模型、机器人控制与硬件系统的数十人具身智能团队。

TouchWorld 并非偶然的“论文突袭”，而是杨朔团队从人类数据获取、触觉建模到机器人灵巧操作全链路技术路线的集中体现，也是破晓智能首次完整展示这一技术体系。

触觉的双重角色：既要“预判”，也要“反应”

TouchWorld 标题中的核心关键词 Predictive（预测）与 Reactive（反应），分别对应预判与纠错两大功能。

1. Predictive：行动前的触觉预判

在动作执行前，模型不仅预测视觉画面，还预测“未来触觉图”：明确哪根手指应产生压力、压力分布位置（指尖或掌侧）及预期接触强度。这张触觉图为机器人设定了物理世界的具体目标。

核心逻辑：画面正确不等于任务完成，手指真正压出预期接触状态才算成功。TouchWorld 让机器人提前知晓“应当碰成什么样”。

2. Reactive：接触后的快速纠错

现实环境中，物体位置偏移、插头倾斜、关节热漂移或人为干扰均可能导致执行偏差。若每次偏差都依赖上层大模型重新推理，响应速度将严重滞后。

TouchWorld 引入 Reactive 路径：在接触瞬间，系统持续读取触觉信号与关节状态，在原有动作上叠加微小修正（如手指微调、握力增加、手腕角度校正）。

• 上层策略：决定“往哪走”。
• 触觉反馈：保证“碰到后不偏离”。

这类似于人类拿取湿滑玻璃杯的过程：大脑规划抓取路径，但手指感知到滑动时会立即调整握力，无需重新思考整个抓取策略。TouchWorld 将这两种能力解耦，使触觉不仅用于失败后的提醒，更深度参与行动前的目标预测与行动中的实时纠偏。

TouchWorld 通过触觉世界模型预测机器人任务子目标。

为何传统 VLA 模型难以“消化”触觉？

直观上，将触觉数据加入视觉-语言-动作（VLA）模型似乎是顺理成章的。但杨朔团队发现，触觉并非可简单拼接的“积木”，其与视觉在信息密度、出现时机及处理速度上存在本质差异。强行融合可能导致触觉信号被视觉淹没。

触觉数据的三大挑战

1. 稀疏性：两分钟任务中，有效接触时间可能仅十几秒；图像为百万级像素，而单手触觉数据仅数百维。同频训练易使模型依赖视觉“偷懒”。
2. 时间尺度差异：任务规划、动作生成与接触纠错不应共用同一时钟频率。
3. 处理逻辑不同：统一模型难以兼顾宏观规划与微观微调。

三层架构：慢规划、中速执行、快速纠偏

TouchWorld 摒弃“全能统一模型”，转而采用分层架构，匹配不同时间尺度：

• 1Hz 高层（规划层）：拆解任务，预测视觉-触觉目标。
• 10Hz 中层（执行层）：根据目标生成主体动作。
• 30Hz 触觉层（反应层）：基于实时接触与关节状态，持续修正动作。

TouchWorld 三层架构：高层规划并预测目标，中层生成动作，高频触觉反馈实时纠偏。

消融实验验证分层必要性

• 完整 TouchWorld：无扰动成功率 65.0%，有扰动成功率 57.2%。
• 移除触觉输入：成功率降至 43.3%（无扰动）和 30.0%（有扰动）。
• 移除 30Hz 触觉修正层：成功率降至 55.3%（无扰动）和 40.3%（有扰动），在目标移动或抓握受扰时表现尤为明显。
• 移除 Tactile World Model：成功率降至 60.2% 和 51.2%。
• 移除子任务规划模块：成功率降至 55.5% 和 46.2%。

关键发现：经过任务阶段监督和记忆增强的 4B 子任务规划模型，准确率达 91%，超越零样本 32B 模型的 84%。这表明，在层级系统中，模型大小并非决定性因素，让模型明确任务阶段、记忆历史状态及评估下游可行性，比单纯扩大参数量更有效。

65% 的成功率虽未彻底解决灵巧操作难题，但证实了“预测接触”与“快速反应”分离策略的有效性。

触觉数据的来源与应用闭环

TouchWorld 并非从零起步，而是基于杨朔团队前期在触觉数据规模化上的积累。

1. EgoTouch：解决“数据怎么采”

团队搭建穿戴式采集系统：头部佩戴第一人称相机，手腕安装近距离相机，配合双手姿态追踪与密集触觉手套。同步记录多路 RGB 视频、3D 姿态及连续压力分布。

• 数据规模：覆盖 208 项任务、1891 段交互、超 20 小时视频、约 210 万帧数据及 1000 余类物体。
• 场景：家庭、办公室、工作台、零售及户外环境。

EgoTouch 第一人称视觉 - 触觉数据采集系统。

2. TouchAnything：解决“无传感器视频如何恢复触觉”

互联网视频丰富但缺乏触觉标注。TouchAnything 旨在建立视觉与触觉的映射关系，从普通视频中推测接触位置和压力分布，为大规模视频提供触觉监督信号。

注意：TouchAnything 并非替代实时触觉硬件，而是解决数据规模化问题，为缺乏触觉标注的视频补充监督信息。

TouchAnything 多视角触觉预测模型架构。输入头戴第一人称视角、腕部视角及双手 3D 姿态，通过多视角特征融合预测双手压力分布图。

3. TouchWorld：解决“机器人如何真正使用触觉”

• 预训练：在 20.2 小时 EgoTouch 人类交互数据上预训练，学习多样化的人类操作与接触模式。
• 微调：使用 10 小时机器人演示数据微调，适配具体机器人灵巧手、传感器及动作空间。

至此，技术路线闭环形成：
* EgoTouch：数据采集。
* TouchAnything：视觉恢复触觉。
* TouchWorld：触觉预测目标与实时纠偏。

破晓智能：构建全栈具身智能工程

将 TouchAnything 与 TouchWorld 结合，破晓智能（PHANES AI）的定位清晰可见：它不仅是触觉手套或数据提供商，而是致力于训练可迁移至真实机器人的基础模型。

1. Data-Centric AI 路线延续

杨朔长期关注数据质量、噪声处理与训练效率。在具身智能领域，他追问的核心是：“何种数据路线能支撑能力的持续扩展？”

2. 从“手部操作”到“全身移动”

TouchWorld 解决“手怎么碰对”，破晓智能进一步瞄准“身体如何移动到位并完成操作”。
* 全栈数据采集：除头环与手套外，引入腰带与脚踝柔性绑带，捕捉移动、转身、弯腰、下蹲及踮脚等全身动作。
* 真实场景模拟：家务涉及空间移动、高处取物、地面整理及平衡处理。破晓智能旨在学习人在真实空间中的移动策略与接触密集操作的协同。

3. 全栈工程能力

面对触觉数据不足、传感器噪声漂移、高自由度灵巧手稀缺等挑战，团队具备自主硬件改造、数据管线搭建、模型训练及控制闭环调试能力。

TouchWorld 在浇花、抽纸巾等六项真实机器人任务中完成测试。

破晓智能构建的壁垒并非单一模型架构，而是由数据、硬件、模型与评测体系共同形成的闭环。目前，团队已覆盖机械设计、嵌入式开发、数据基础设施、世界模型训练及真机部署等全环节。

未来展望

团队计划逐步开源 EgoTouch、TouchAnything 及 TouchWorld 的相关数据、代码与模型，并持续深耕五指灵巧手、触觉世界模型及全身移动操作方向。

视觉让机器人知晓世界形态，触觉让机器人确认自身改变世界。

破晓智能的目标，是让触觉能力从单一的传感器读数，升维为机器人基础模型的核心组成部分。

论文链接：
* TouchWorld: https://arxiv.org/abs/2607.07287
* Tech Blog: https://phanes-lab.github.io/TouchWorld-website/

TouchAnything 链接：
* 论文: https://arxiv.org/abs/2605.13083
* 官方项目主页: https://jianyi2004.github.io/TouchAnything-Website/

相关文章