启元机器人发布世界模型仿真器 PrimeSim 登顶两项机器人权威基准
启元具身研究中心发布世界模型仿真器PrimeSim,基于预训练视频生成模型经中训练、后训练改造,可替代传统仿真器开展机器人策略训练。在EWMBench等评测中多项指标登顶,推理提速约9倍,策略成功率与传统仿真器相关系数达0.99,权重与代码将于11月6日开源。
11 月 4 日,启元具身研究中心发布世界模型仿真器 PrimeSim。该产品基于预训练视频生成模型,经过中训练、后训练两阶段改造,具备替代传统仿真器的交互推演能力,可面向机器人操纵任务开展策略训练。相关权重、推理代码与训练代码将于 11 月 6 日开源。

仿真环境是机器人控制策略训练的重要基础,但依靠人工搭建仿真场景,难以支撑大规模落地。据启元具身研究中心介绍,理想的机器人仿真器需同时满足并行调度上万条轨迹、场景精确重置且无硬件损耗、减少跨场景工程定制、缩小与现实环境差距等要求。团队认为,仅依靠视频生成模型实现 "视觉逼真" 尚不充分,作为仿真底座,还需严格服从策略输出的动作指令、保持多相机视角间的几何与语义一致,并在远长于训练上下文窗口的时间跨度内维持状态连贯。
在权威基准评测中,PrimeSim 表现突出。在 EWMBench 基准上,该仿真器以 6.09 的综合得分位列榜首,分项指标 HSD(1.000)、nDTW(1.000)、BLEU(0.570)、CLIP(0.954)、Logics(1.000)均取得第一名。在基于 LIBERO 设计的 WorldSimProbe 五项评测中,PrimeSim 在全局轨迹覆盖(67.9)、动作来源行为保持(72.3)、交互动态(37.1)三项维度登顶。
据研究团队介绍,PrimeSim 采用两阶段改造范式,将原生双向视频生成模型逐步转化为可交互、可自回归滚动的世界模型仿真器。中训练阶段,模型基于 30110 小时精选机器人演示数据,覆盖人形、双臂、单臂、手持 UMI 设备等 22 种异构机器人平台,其中人形机器人样本占比 54.8%、真实世界数据占比 84%,并围绕统一动作表征、帧对齐双路径条件注入、视角感知交错注意力三项核心设计实现跨本体兼容与控制信号强绑定。后训练阶段,通过高速生成链路、自条件稳定性、分层时序记忆三项机制,使模型在超过固定训练上下文窗口后仍可稳定推演,最长支持两分钟以上连续 rollout。
实验数据表明,在 RoboTwin 2.0 留出集、单张 A100 环境下,PrimeSim 经一致性蒸馏与 DMD 叠加,将去噪步数压缩至 4 步,速度由 50 步去噪基线的 1.12 FPS 提升至 10.04 FPS,整体提速约 9 倍,同时 PSNR 回升至 24.87,LPIPS 由 0.193 优化至 0.176。
作为策略仿真底座,PrimeSim 展现出与传统仿真器的高度对齐。实验选取 8 个 OpenVLA-OFT 策略,在 300 个共享初始状态设定下,PrimeSim 与 LIBERO 原生仿真器的策略成功率相关系数达 0.99,平均绝对误差为 2.8。团队还直接在 PrimeSim 内部对策略开展 GRPO 强化学习,结果显示策略在原生仿真器上的成功率提升 11.5%,在 PrimeSim 内的评估指标上涨 11.8%,证明在该神经仿真器中获得的策略增益可有效迁移至传统物理仿真环境。
在少样本本体迁移方面,中训练赋予模型较强的跨本体能力:适配 xArm 7、ViperX 300、UMI 夹爪分别仅需 200、100、200 步梯度更新。在未见于训练集的 AgileX Piper 场景中,经单卡 A100 约 200 步微调,布料形变即可跟随动作指令、多视角状态保持一致。推理性能方面,单张 A100-80GB、三视角、单图分辨率 288×384 配置下,PrimeSim 可实现 10.12 TempFPS、30.35 ViewFPS,吞吐能力约为 GE-Sim 2.0 的 4.5 倍、Ctrl-World 的 11.6 倍。
启元具身研究中心表示,此次发布验证了通过 "中训练 + 后训练" 渐进式流水线将通用视频生成模型改造为机器人世界模型仿真器的可行性,相关成果兼顾动作保真度、长时序推演能力与工程实用性,为机器人控制策略训练的规模化提供了新路径。
项目地址:https://primebottech.github.io/PrimeSim-website/
仿真环境是机器人控制策略训练的重要基础,但依靠人工搭建仿真场景,难以支撑大规模落地。据启元具身研究中心介绍,理想的机器人仿真器需同时满足并行调度上万条轨迹、场景精确重置且无硬件损耗、减少跨场景工程定制、缩小与现实环境差距等要求。团队认为,仅依靠视频生成模型实现 "视觉逼真" 尚不充分,作为仿真底座,还需严格服从策略输出的动作指令、保持多相机视角间的几何与语义一致,并在远长于训练上下文窗口的时间跨度内维持状态连贯。
在权威基准评测中,PrimeSim 表现突出。在 EWMBench 基准上,该仿真器以 6.09 的综合得分位列榜首,分项指标 HSD(1.000)、nDTW(1.000)、BLEU(0.570)、CLIP(0.954)、Logics(1.000)均取得第一名。在基于 LIBERO 设计的 WorldSimProbe 五项评测中,PrimeSim 在全局轨迹覆盖(67.9)、动作来源行为保持(72.3)、交互动态(37.1)三项维度登顶。
据研究团队介绍,PrimeSim 采用两阶段改造范式,将原生双向视频生成模型逐步转化为可交互、可自回归滚动的世界模型仿真器。中训练阶段,模型基于 30110 小时精选机器人演示数据,覆盖人形、双臂、单臂、手持 UMI 设备等 22 种异构机器人平台,其中人形机器人样本占比 54.8%、真实世界数据占比 84%,并围绕统一动作表征、帧对齐双路径条件注入、视角感知交错注意力三项核心设计实现跨本体兼容与控制信号强绑定。后训练阶段,通过高速生成链路、自条件稳定性、分层时序记忆三项机制,使模型在超过固定训练上下文窗口后仍可稳定推演,最长支持两分钟以上连续 rollout。
实验数据表明,在 RoboTwin 2.0 留出集、单张 A100 环境下,PrimeSim 经一致性蒸馏与 DMD 叠加,将去噪步数压缩至 4 步,速度由 50 步去噪基线的 1.12 FPS 提升至 10.04 FPS,整体提速约 9 倍,同时 PSNR 回升至 24.87,LPIPS 由 0.193 优化至 0.176。
作为策略仿真底座,PrimeSim 展现出与传统仿真器的高度对齐。实验选取 8 个 OpenVLA-OFT 策略,在 300 个共享初始状态设定下,PrimeSim 与 LIBERO 原生仿真器的策略成功率相关系数达 0.99,平均绝对误差为 2.8。团队还直接在 PrimeSim 内部对策略开展 GRPO 强化学习,结果显示策略在原生仿真器上的成功率提升 11.5%,在 PrimeSim 内的评估指标上涨 11.8%,证明在该神经仿真器中获得的策略增益可有效迁移至传统物理仿真环境。
在少样本本体迁移方面,中训练赋予模型较强的跨本体能力:适配 xArm 7、ViperX 300、UMI 夹爪分别仅需 200、100、200 步梯度更新。在未见于训练集的 AgileX Piper 场景中,经单卡 A100 约 200 步微调,布料形变即可跟随动作指令、多视角状态保持一致。推理性能方面,单张 A100-80GB、三视角、单图分辨率 288×384 配置下,PrimeSim 可实现 10.12 TempFPS、30.35 ViewFPS,吞吐能力约为 GE-Sim 2.0 的 4.5 倍、Ctrl-World 的 11.6 倍。
启元具身研究中心表示,此次发布验证了通过 "中训练 + 后训练" 渐进式流水线将通用视频生成模型改造为机器人世界模型仿真器的可行性,相关成果兼顾动作保真度、长时序推演能力与工程实用性,为机器人控制策略训练的规模化提供了新路径。
项目地址:https://primebottech.github.io/PrimeSim-website/
责任编辑: 云散
