后训练无需真机，HIL-UMI 精细操作成功率几乎 100%
北京大学董豪团队提出 HIL-UMI，让模型预测接入手持 UMI 示范采集：人示范的同时模型同步预测，系统比较分歧，定位策略薄弱环节并定向补录数据，无需真机执行。采集效率达真机人在环 DAgger 的 5.63 倍，三轮后训练后多项真机任务成功率近 100%。
采集时不让机器人执行策略，模型也能获得有针对性的反馈。北京大学董豪团队等提出 HIL-UMI，把模型预测接入手持 UMI 示范，让人围绕策略的薄弱环节补充数据。无需真实机器人部署，且采集效率达到真机人在环DAgger 的 5.63 倍，三轮后训练后的真机评测中，多项任务的成功率几乎 100%。
论文地址：https://arxiv.org/abs/2609.20659
一、数据越来越多 模型的盲区却未必被补上
模型学过专家的完整操作，为什么执行时还会失手？专家示范通常沿着顺利完成任务的路径展开，机器人却可能因自身误差，进入训练中很少见到的状态。研究将这类训练覆盖不足的情境称为分布外状态（OOD）。再采一遍熟悉的流程，未必能帮模型解决这些问题。
二、让模型参与示范 下一段数据有了方向
1. 比较一组动作 找到模型的薄弱环节
这套流程有没有把人的示范转化成真实机器人的进步？研究以 π0.5 为基础策略，在折毛巾、整理桌面、叠方块和盖章等多项真实任务中进行验证。前两项考察连续操作：毛巾要展平、折两次再放入篮子，桌面上要完成长程操作，如笔和玩具要分类收纳，还涉及开关抽屉。后两项考察精度：紫色方块要放到红色方块上，印章要完整落入标记框。长流程要减少误差累积，精细动作则要把位置和姿态控制到位。
表 1 三轮后训练后的任务完成度评分 满分 100 分
与SFT后训练对比，HIL-UMI无优势估计器版本最终达到了150%的性能提升，体现了定向采集的收益。完整方法从基础训练阶段就加入优势估计和 ACBC，终点进一步领先，体现了找准数据之后，任务进展信息也帮助策略学得更好。
采集效率也回应了最初的问题。在整理桌面任务上，以相同每阶段数据预算对比人在环真机 HG-DAgger，HIL-UMI 采集效率达到其 5.63 倍，且最终完成度评分约高出 5 分。无需等待机器人执行，人就能按模型反馈补充示范，减少采集开销。
HIL-UMI 让 UMI 采集与模型更新联系得更紧：示范可以围绕当前策略的薄弱环节展开，采集重点也随模型能力变化。对机器人后训练而言，这提供了一种更有针对性的数据组织方式，让人的经验更直接地用于解决模型当前遇到的问题。把这类反馈接入便携设备，也为跨操作员、跨地点的分布式采集提供了条件，让更多采集者能够获得同一个模型的反馈，实现人在环数据的高效采集与模型的高效迭代。
一块毛巾，抓起来、折两次、放进篮子，人做起来顺手，机器人却可能卡在一次不起眼的偏差上：抓取位置偏了，毛巾姿态随之改变，后面的动作也跟着失准。要让模型稳定地完成这段操作，继续增加成功示范还不够，新数据还要覆盖它当前做不好的地方。
过去，这种反馈往往来自真机执行：先让机器人做，遇到困难再由人接管。HIL-UMI将反馈带到了手持 UMI 采集现场。人直接示范，模型同步预测，系统自动比较两者的分歧，决定哪里值得补充数据。采集过程中，模型的预测无需在机器人上执行。
论文地址：https://arxiv.org/abs/2609.20659
项目主页：https://hil-umi.github.io
图 1 HIL-UMI 将策略反馈引入手持 UMI 采集，在保留人在回路迭代的同时，减少数据采集对真机执行的依赖。
一、数据越来越多 模型的盲区却未必被补上
模型学过专家的完整操作，为什么执行时还会失手？专家示范通常沿着顺利完成任务的路径展开，机器人却可能因自身误差，进入训练中很少见到的状态。研究将这类训练覆盖不足的情境称为分布外状态（OOD）。再采一遍熟悉的流程，未必能帮模型解决这些问题。
长时序执行中的偏差可能逐步累积，常规示范难以充分覆盖这些困难状态。
交互式后训练的价值，就在于把数据采集带到模型真正遇到问题的地方。以 HG-DAgger 为例，策略先在真机上执行，人接管纠正，再将新的示范用于训练。但每一轮都要等待机器人运动、人工干预和环境复位。要把这套流程铺开，还会受到机器人数量和场地的限制。
UMI 用便携夹爪记录机器人兼容的观测和动作，已经让数据采集摆脱了真机遥操作。HIL-UMI 要补上的，是这套轻便流程里的模型反馈：不让机器人实际执行，也能根据模型当前的预测，判断哪里值得追加示范数据。
图 2 手持 UMI 设备及双视角观测配置。位姿跟踪用于记录人类动作轨迹，相机观测同时供在线模型推理使用。
二、让模型参与示范 下一段数据有了方向
HIL-UMI 将采集反馈分成两个问题：当前策略的动作与人是否有偏差，以及模型有没有正确理解这段操作的价值。前者决定哪些片段需要用于改进动作策略，后者为优势估计器补充训练数据。两类数据分别采集，最终共同服务于模型更新。
图 3 HIL-UMI 的迭代流程。系统分别采集用于改进优势估计器和动作策略的数据，每轮先更新优势估计器，再更新策略。
1. 比较一组动作 找到模型的薄弱环节
人的示范是一条具体轨迹，模型给出的却可能有多种合理做法。例如，从不同方向靠近目标，未必影响任务完成。只拿一次预测与人比较，就容易把做法不同误判成模型不会。HIL-UMI 因此在同一输入下并行采样 10 个动作块，每个包含未来 20 步的末端位置、姿态和夹爪指令。等对应的人类动作片段结束，再将它与整组预测比较。这个比较由 Energy Score 完成。轨迹距离同时考虑位置、姿态和夹爪状态，其中姿态差异使用 SO(3) 上的测地距离计算：
公式既计算模型样本与人类轨迹的距离，也考虑预测样本自身的分散程度，避免只看单次动作误差。它无需显式概率密度，适用于流匹配策略。分数超过阈值 τP，就提示操作者从当前状态补录到子任务结束。系统据此将新示范集中到当前策略可能缺少训练覆盖的情境，而无需先等机器人真的执行失败。
2. 判断任务进展 优势估计器也要持续更新
采到一段专家示范，还要知道其中哪些动作更有利于把任务向前推进。HIL-UMI 的优势估计器输入前后观测和任务指令，直接预测相对进展；如果人在推进任务，它却给出很低的预测，就说明这一段也值得用于修正估计器。这条采集流程比较相隔 50 帧的观测，预测低于按任务校准的阈值 τA 时，补录到当前子任务结束。完成两类数据采集后，每轮先更新优势估计器，再用它提供的进展信息更新动作策略。
3. 把进展信息带入训练 让策略更会做事
进展信息通过优势条件行为克隆（ACBC）进入策略。正、负优势标签加入任务提示词，策略仍使用原有的动作预测损失训练。部署时统一使用正优势提示词，倾向于生成更能推进任务的动作。
基础示范中，预测优势前 30% 的有效样本标为正，其余为负，定向补录的专家策略数据统一标为正。新旧数据各按 50% 混合采样，局部片段的进度标签按长度比例缩放，避免高估它的贡献。更新后的策略和估计器再进入下一轮采集，让反馈随模型能力一起变化。
三、同样的采集预算 数据选对之后发生了什么
这套流程有没有把人的示范转化成真实机器人的进步？研究以 π0.5 为基础策略，在折毛巾、整理桌面、叠方块和盖章等多项真实任务中进行验证。前两项考察连续操作：毛巾要展平、折两次再放入篮子，桌面上要完成长程操作，如笔和玩具要分类收纳，还涉及开关抽屉。后两项考察精度：紫色方块要放到红色方块上，印章要完整落入标记框。长流程要减少误差累积，精细动作则要把位置和姿态控制到位。
图 4 四项真实机器人任务，覆盖长时序操作与位置姿态精细控制。
每个策略版本在每项任务上测试 10 次，物体初始位置在 30 cm × 60 cm 区域内变化。研究按各个子步骤的完成情况打出 0—100 分，既看任务是否完成，也看机器人走到了哪一步。
三轮迭代后，完整 HIL-UMI 的四任务平均完成度评分达到 94.8 分，常规 UMI 示范加监督微调（SFT）为 58.0 分。研究采用固定基础数据和相同每轮新增数据预算；HIL-UMI 将采集分别用于动作策略和优势估计器的更新。叠方块、盖章两项精细操作任务的成功率几乎 100%。在本轮每项 10 次的评测中，两项任务的平均完成度评分均为满分 100 分；整理桌面为 96 分，折毛巾为 83 分。
图 5 四项任务及其平均完成度评分随迭代变化。完整 HIL-UMI 结合定向采集与优势条件学习，持续改善执行表现。
表 1 三轮后训练后的任务完成度评分 满分 100 分
与SFT后训练对比，HIL-UMI无优势估计器版本最终达到了150%的性能提升，体现了定向采集的收益。完整方法从基础训练阶段就加入优势估计和 ACBC，终点进一步领先，体现了找准数据之后，任务进展信息也帮助策略学得更好。
经过迭代后训练，HIL-UMI 在长时序任务和精细操作任务中改善执行表现。
四、采集快 5.63 倍 反馈也能跟着人走
采集效率也回应了最初的问题。在整理桌面任务上，以相同每阶段数据预算对比人在环真机 HG-DAgger，HIL-UMI 采集效率达到其 5.63 倍，且最终完成度评分约高出 5 分。无需等待机器人执行，人就能按模型反馈补充示范，减少采集开销。
图 6 整理桌面任务上 HIL-UMI 与真机 HG-DAgger 的逐轮评测结果。
五、从记录人的动作 到回应模型的需求
HIL-UMI 让 UMI 采集与模型更新联系得更紧：示范可以围绕当前策略的薄弱环节展开，采集重点也随模型能力变化。对机器人后训练而言，这提供了一种更有针对性的数据组织方式，让人的经验更直接地用于解决模型当前遇到的问题。把这类反馈接入便携设备，也为跨操作员、跨地点的分布式采集提供了条件，让更多采集者能够获得同一个模型的反馈，实现人在环数据的高效采集与模型的高效迭代。
责任编辑： 云散
