逐际动力LimX VGM：具身操作算法的革新之旅，逐际动力发布LimX VGM：机器人操作的新突破

逐际动力发布的LimX VGM具身操作算法。这个算法实现了国内首次将人类操作数据直接应用于机器人操作，还将阐述其背后的工作流程以及三大具身技术核心创新点，并且提到了逐际动力后续的计划等内容。

据机器人前瞻2月18日消息，逐际动力最近推出了基于视频生成大模型的具身操作算法，名为LimX VGM。这一算法达成了国内的一项创举，那就是首次把人类操作数据直接运用在机器人操作领域。

长久以来，具身智能面临着众多有关数据的难题。比如说，人类操作的视频无法被直接应用于机器人操作。虽然大模型有能力依据这些视频生成行为轨迹与操作数据，然而却常常存在一些缺陷，像精度不够、偏离物理规律以及存在幻觉等情况。即便数据准确无误，仍然无法直接在机器人操作中使用。

LimX VGM采用人类操作视频数据对现有的视频生成大模型进行后训练。仅仅需要把场景图片和操作任务指令当作提示Prompts，就能够达成任务理解与拆分、物体操作轨迹生成以及机器人操作执行的整个流程。而且，这个全过程不需要真机样本数据，还能够在多平台进行泛化。

具体而言，LimX VGM的工作流程包含下面三个关键步骤：

在训练阶段，收集一些真实人类操作的视频，用来对现有的视频生成大模型进行后训练。到了推理阶段，把初始场景和任务操作指令相结合作为提示Prompts，利用经过后训练的视频生成大模型生成带有深度信息的人类操作视频，然后依据人类操作视频生成机器人操作的行为。在执行阶段，算法输出符合机器人操作逻辑的行为解算，让机器人执行相应的操作轨迹。

在LimX VGM的工作流程背后，存在着三大具身技术的核心创新点：

第一点，人类操作视频到机器人操作策略及行为的桥接。LimX VGM并不构建视频生成大模型，而是利用现有的大模型框架，通过有效的训练从中提取对执行操作任务有用的关键信息，将其转化为机器人操作策略和行为。之后，LimX VGM只需要额外采集少量的人类操作视频数据，就能够用于机器人操作，整个过程不需要真机数据，这使得数据采集工作变得简便、成本低廉并且效率很高。随着大模型不断升级，LimX VGM将会拥有更丰富、更全面的操作知识，生成更有效的操作策略，进一步提升算法的泛化性。▲LimX VGM只需额外采集少量的人类操作视频数据

第二点，引入空间智能，突破2D生成视频的局限。通过引入空间智能Spatial Intelligence模块，LimX VGM在对视频生成大模型进行后训练时，引入深度信息，使得生成的操作视频直接包含三维空间数据，这是机器人能够进行物理空间操作的关键。LimX VGM深度信息的采集过程简单、容易获取并且高效，只需要通过深度相机捕捉人手真实操作过程就可以了。

▲LimX VGM引入深度信息，让生成的操作视频直接包含三维空间数据

第三点，算法与机器人本体的解耦，可跨平台部署。LimX VGM的整个训练过程仅仅依靠人类操作视频，与任何机器人本体都没有关系。算法的真机部署只需要进行简单的适配，就能够实现跨硬件平台的直接操作执行。即便机器人硬件不断更新换代，也不需要再对算法进行大幅度调整和重新采集数据，实现了操作能力在设备上的泛化性。在演示中，研究人员使用了三种在构型、参数、能力等方面差异巨大的机械臂，但是算法仍然可以达到一致的操作效果。

▲同一个算法在三个机械臂上都能简单快速部署

此外，逐际动力还提出了“数据 - 性能ROI”这种数据效率评估方法，重点关注数据成本到操作性能转化率的提升。

据悉，逐际动力接下来打算推动这一算法适配Cosmos等更多的视频大模型，优化算法推理效率，逐步实现实时视频生成，并且优化空间智能的模块性能，提升操作执行的精准性。

本文总结了逐际动力发布的LimX VGM具身操作算法。该算法在将人类操作数据应用于机器人操作方面有创新，解决了具身智能的数据难题。其工作流程包含训练、推理、执行三个阶段，同时有着三大核心创新点，包括人类操作视频到机器人操作策略的桥接、引入空间智能、算法与机器人本体解耦。此外，逐际动力还提出了新的数据效率评估方法，并且有后续的优化计划。