ForceWAM：让机器人不仅看见世界，也能感知力的变化

在真实世界的接触操作中，机器人不仅需要判断物体的位置和运动状态，还需要理解动作过程中产生的物理反馈。

以工具推移和盒子翻转为例，机器人沿测力器推动工具，轨迹和画面看起来都符合预期，接触力却可能在操作过程中偏离规定范围；工具只要在翻转时发生滑动，即使后续位姿再准确，也无法保证任务成功。这正是机器人接触操作面临的挑战：推一个物体需要施加多大的力？接触过程中如何保持稳定？遇到阻力或外部干扰时，又该如何调整动作？

对于具身智能模型而言，理解视觉信息只是基础。让模型进一步理解物理交互、预测受力变化，并根据实时反馈调整动作，是走向复杂真实世界操作的重要一步。

围绕这一方向，穹彻智能研发团队与来自复旦大学、上海交通大学、东南大学、上海创智学院等机构的研究者开展 ForceWAM 研究，探索将视觉预测与六轴力觉预测相结合，让机器人不仅能够预测动作之后的画面，也能理解抵达目标过程中应该产生怎样的受力变化。

ForceWAM 是穹彻在具身智能模型能力拓展方向上的一项研究探索，与穹彻 Noe 系列世界模型与以力为中心的技术路线一以贯之。

传统的成功示范能够告诉机器人一次成功操作应该是什么样子，却不一定能回答操作偏离预期时该怎么办。例如，工具推得更深一点，接触力会如何变化？工具发生滑动后，应该怎样调整动作？盒子受到外力干扰后，又该如何恢复操作？

这也是为什么 ForceWAM 在成功任务示范之外，引入了探索性操作数据（Play Data）。通过按压、滑动、接触和脱离等探索性操作，机器人能够积累不同动作与实际物理交互结果之间的对应关系。这些数据不一定对应一次完整的成功任务，却能帮助模型学习接触过程中可能发生的变化，以及动作如何影响受力结果。

对于具身智能模型而言，这意味着需要同时理解两个维度：

• 视觉状态： 环境和物体将如何变化，最终应该达到怎样的目标状态。

• 力觉状态： 动作过程中会产生怎样的力和力矩变化，如何根据实际接触情况调整动作。

ForceWAM 正是围绕这一问题展开研究：将未来视觉预测与未来受力预测结合起来，并利用探索性操作数据学习动作响应，让模型不仅能够预测任务目标，也能理解抵达目标过程中发生的物理交互。

ForceWAM 采用两个模型协同工作的架构，分别负责预测任务未来状态，以及学习如何通过动作实现这一目标。

ForceWM 是一个世界模型，负责预测机器人执行任务后可能出现的未来状态。它以当前腕部相机图像、当前六轴力和力矩信息以及任务指令作为输入，输出未来视觉信息和未来受力序列。

与仅预测未来画面的视觉世界模型不同，ForceWM 将视觉与力觉信息结合起来，联合预测物体未来的运动状态，以及接触过程中力和力矩的变化。它只使用成功任务示范进行训练，为模型建立明确的任务目标。

例如，在翻转盒子的任务中，模型不仅需要预测盒子如何转动，还需要预测工具与盒子接触后载荷如何增加、旋转过程中如何维持，以及完成操作、脱离接触时受力如何回落。

如果说 ForceWM 负责预测未来，那么逆动力学模型 IDM 则负责回答：为了实现这段未来，机器人应该采取什么动作？

在训练过程中，IDM 学习片段起点、实际发生过的未来视觉与受力变化，以及当时执行的动作之间的关系。它同时使用成功任务示范和无任务目标的 Play 数据进行训练。

成功示范提供了完成任务的动作与结果配对；Play 数据则记录机器人在按压、滑动、接触和脱离等探索性操作中，动作如何改变视觉状态与实际受力。这些探索数据不一定完成了特定任务，却能够帮助 IDM 学习不同动作带来的物理交互结果。

在实际执行时，IDM 接收 ForceWM 生成的未来目标，并结合实时受力反馈，持续调整当前动作。

两个模型的分工，也决定了不同类型数据如何发挥作用：成功示范用于学习任务目标，探索性 Play 数据则帮助模型学习动作与物理交互结果之间的关系。

ForceWAM 通过将 Play 数据引入 IDM 的训练，而不改变 ForceWM 对成功任务未来的预测，探索了更有效地利用不同类型交互数据的方式。

真实世界的操作并不总是按照预先规划的轨迹进行。工具可能发生滑动，物体可能受到外力干扰，实际接触力也可能偏离预期。因此，机器人不能只依赖一开始生成的动作计划，还需要根据执行过程中不断获得的新信息进行调整。

在 ForceWAM 中，未来状态预测与实时动作调整由两个模型协同完成：

• ForceWM 每执行六个动作，就刷新一次未来视觉与受力预测。

• 两次预测更新之间，IDM 根据实时测量到的受力信息，持续重新计算当前动作。

• 每次只将当前动作发送给底层控制器，再根据新的反馈进行下一步调整。

这种机制将相对低频的未来状态预测与实时动作调整结合起来，使机器人既能围绕任务目标执行，又能及时响应接触过程中发生的变化。

在部署测试中，ForceWM 单次调用约为 100 毫秒，IDM 单次调用约为 60 毫秒。刷新未来目标时，系统先运行 ForceWM，再由 IDM 计算当前动作。

通过这种闭环执行方式，ForceWAM 探索让机器人在预测未来的同时，持续根据真实物理反馈修正动作。

为了验证 ForceWAM 的实际效果，研发团队开展了三类任务、四种测试条件的真机实验：

• 持续控力滑动： 沿测力器中心线完成滑动，并将法向接触力维持在 5 至 15 牛之间，目标值为 10 牛。

• 盒子翻转： 使用工具完成盒子翻转，分别测试正常条件和受到外力干扰的情况。

• 圆环套杆： 将圆环准确放置到直径 10 毫米的杆上。

针对各任务采集 200 条成功示范和 200 条 Play 数据，其中普通翻盒与受扰翻盒共用训练数据。每种测试条件进行 20 次真机实验，以完成任务且没有安全停机或人工干预作为成功标准。

实验结果显示，在引入 Play 数据后，ForceWAM 在四种测试条件下的成功率均有提升。

其中，持续控力滑动任务的成功率从 40% 提升至 85%，增加 45 个百分点；

普通翻盒从 75% 提升至 95%；

受扰翻盒从 65% 提升至 85%；

圆环套杆从 75% 提升至 90%。

四种测试条件下，完整 ForceWAM 系统的成功率均达到 85%至 95%。

这一结果表明，无任务目标的探索性操作数据同样具有训练价值。通过合理设计数据使用方式，机器人能够从更多样的接触经验中学习动作响应，提升在不同接触操作任务中的执行表现。

为了进一步验证 Play 数据对机器人执行能力的影响，研发团队在保持任务示范数据、ForceWM 和 IDM 的优化更新次数不变的情况下，仅调整 IDM 训练过程中使用的 Play 数据数量。

实验分别使用每个任务族 0、50、100、150 和 200 条 Play 数据，比较不同数据数量下模型的平均任务成功率。通过控制其他训练条件，这项实验能够更直接地观察不同数量的探索性接触数据对模型执行表现的影响，也进一步验证了 Play 数据在动作响应学习中的价值。

接触操作既需要理解物体如何运动，也需要理解动作过程中产生怎样的受力变化。为了验证两种信息各自的作用，研发团队进一步开展了不同未来目标输入条件下的消融实验。

实验保留当前腕部图像、实时受力反馈、任务数据和 Play 数据，仅改变提供给 IDM 的未来目标：

• 不提供未来目标；

• 仅提供视觉未来；

• 仅提供受力未来；

• 同时提供视觉与受力未来。

结果显示，同时使用视觉与受力未来时，四种测试条件下的成功率均为最高。

以持续控力滑动任务为例，不提供未来目标和仅提供视觉未来时，成功率均为 15%；

仅提供受力未来时为 20%；同时提供视觉与受力未来后，成功率提升至 85%。

在普通翻盒、受扰翻盒和圆环套杆任务中，同时使用视觉与受力未来的成功率也分别达到 95%、85% 和 90%，均高于其他三种设置。

这说明，在 ForceWAM 所研究的接触操作任务中，视觉信息与力觉信息具有互补作用。机器人不仅需要知道物体应该到达哪里，还需要理解抵达目标的过程中应该如何施力。

ForceWAM 展示了视觉预测、力觉预测与动作反馈调整相结合的一种技术路径。它所探索的并不只是让机器人完成某一个翻盒或套环任务，而是如何让模型从真实交互数据中学习动作与物理结果之间的关系，并将这种经验转化为更稳定的执行能力。

在本文涉及的三类任务、四种真机测试条件下，实验结果表明，将任务目标学习与接触响应学习相结合，并同时利用未来视觉、未来受力预测和执行过程中的实时反馈，能够提升机器人在接触操作中的任务表现。这也说明，成功示范之外，探索性接触数据同样具有训练价值。

这为 Noe 模型未来的能力拓展提供了新的研究方向。随着具身智能模型不断发展，机器人需要理解的信息不再局限于视觉和空间关系，还包括接触、受力以及物理环境变化。

ForceWAM 通过引入六轴力觉信息，探索将未来视觉与受力预测结合，并利用探索性 Play 数据提升动作响应能力，为 Noe 模型后续在力觉感知与接触操作方向的能力发展提供了技术积累。

当然，目前 ForceWAM 的实验仍集中于特定接触操作任务，跨硬件迁移、复杂场景泛化和长期实际运行能力仍有待进一步验证。未来，如何结合更多真实世界交互数据，持续拓展模型对物理世界的理解能力，也是值得继续探索的方向。

让模型理解世界，不仅要看见物体如何运动，还要理解动作如何影响物理世界。