聚焦生成式“物理AI”：探索视觉中的物理感知生成，生成式“物理AI”综述：视觉生成模型与物理规律的融合

机器之心的AIxiv专栏在学术交流方面的贡献，重点介绍了一篇关于生成式“物理AI”的综述文章。该综述围绕生成式“物理AI”，阐述了其核心概念，包括物理模拟、物理理解和生成的不同类型等。详细剖析了有显式模拟的生成（PAG - E）的六大范式，也提到了无显式模拟的生成（PAG - I）相关工作，还探讨了如何评估模型的物理刻画能力，最后对生成式“物理AI”的未来发展方向进行了展望。

机器之心旗下的AIxiv专栏一直致力于学术、技术内容的发布。在过去多年间，这个专栏接收并报道了多达2000余篇的内容，这些内容广泛覆盖全球各个高校以及企业的顶尖实验室，这一举措极大地推动了学术交流与传播。如果您有值得分享的优秀成果，无论是投稿还是联系报道都是欢迎的，投稿邮箱为liyazhou@jiqizhixin.com或者zhaoyunfeng@jiqizhixin.com。

在当前，视频生成受到了众多关注，它有潜力成为处理物理知识的“世界模型”，从而助力自动驾驶、机器人等下游任务。不过，现有的模型在从“生成”迈向世界建模的进程中，存在着一个非常关键的短板，那就是对真实世界物理规律的刻画能力不足。

针对这一情况，来自悉尼大学、西澳大学等研究机构的研究人员撰写了一篇综述文章，这篇文章重点聚焦于生成式“物理AI”，深入分析了如何将物理规律融入视觉生成模型。

论文的标题为“Generative Physical AI in Vision: A Survey”，论文链接：https://arxiv.org/abs/2501.10928。

对于生成式“物理AI”的核心概念，综述首先明确了相关定义。其中，物理模拟是按照物理模型让输入数据随着时间发生演变；物理理解则是从观测数据来推断物理模型或者参数；而生成指的是利用生成模型创造新的内容。在生成的类型中，不涉及对物理规律深入理解的属于无物理感知的生成，反之则为物理感知生成。

物理感知生成又能够细分为两类。一类是基于显式物理模拟的（PAG - E），这类方法通过显式利用物理模拟模型来提升生成模型的物理刻画能力；另一类是无显式物理模拟的（PAG - I）。在PAG - E中，根据“物理模拟”与“生成模型”的融合方式，可以归纳为六大范式。

在有显式模拟的生成（PAG - E）方面，存在以下六大范式：

范式一：生成后模拟（Gen - to - Sim）。这种方法通常是在生成内容之后，为其添加物理属性，从而使其能够进行模拟和交互。例如PIE - NeRF在神经辐射场中分布可模拟的“粒子”，实现用户与场景的交互；PhysGaussian利用材料点法（MPM）将3D高斯核视为可模拟的“粒子”，模拟形变等物理现象；VR - GS、LIVE - GS和DreMa等也是基于这个范式，实现VR 3D内容的交互或者机器人对物体摆放场景的预测。

范式二：生成中模拟（Sim - in - Gen）。此范式是将物理模拟直接集成到生成模型中，作为核心子模块。例如PhysGen基于牛顿定律下的刚体动力学，结合大模型推断的物理参数，实现用户外力控制下的视频生成；PhyCAGE把MPM物理模拟器当作优化器，将损失函数的梯度视为物理模拟中的速度；PhysDiff将物理约束加入扩散模型的采样过程中，生成合理的人体运动等。

范式三：生成与模拟并行（Gen - and - Sim）。在这个范式中，生成和模拟是同时进行或者有着紧密关联的。比如PAC - NeRF利用混合Eulerian - Lagrangian表示，同时推断物体的几何和物理参数；iPAC - NeRF在此基础上直接在Lagrangian空间中优化粒子位置和特征；PhysMotion在图像到视频生成过程中，将生成过程与模拟过程交替进行等。

范式四：模拟约束生成（Sim - Constrained Gen）。在这种范式下，物理模拟为生成模型提供训练约束或者指导。例如PhysComp使用基于物理的损失函数，确保生成的3D模型在力作用下表现真实；Atlas3D通过保证在物理模拟中的稳定性，生成可自支撑的3D模型；DiffuseBot则将物理模拟作为数据过滤方式，筛选物理性能好的生成结果等。

范式五：生成约束模拟（Gen - Constrained Sim）。此范式中，生成模型为模拟过程提供指导或者先验知识。例如Physics3D结合视频扩散模型和MPM，利用分数蒸馏采样（Score Distillation Sampling）优化物理参数；DreamPhysics进一步提出运动蒸馏采样（Motion Distillation Sampling）；PhysDreamer从生成的视频数据中学习优化物理模拟的参数等。

范式六：模拟评估生成（Sim - Evaluated Gen）。这种范式下，生成的内容旨在用于基于模拟的部署，注重在模拟环境中的实用性。比如PhysPart生成可用与3D打印和机器人场景的3D替换部件；PhyScene生成适合Embodied AI的高质量3D交互场景等。

对于无显式模拟的生成（PAG - I），综述也介绍了相关工作。一些视频生成大模型展现出了一定的物理推理能力，能够捕捉和复现部分物理动态和因果关系。

例如，PhyT2V使用大语言模型为视觉生成提供物理知识，通过迭代优化文本提示词提升文生视频模型的物理真实性；Generative Interactive Dynamics的相关研究聚焦于模拟图像或视频中物体受外力影响下的变化规律；Motion Prompting等方法利用运动轨迹等控制视频生成和编辑；CoCoGen等则通过在采样过程中注入物理信息，生成符合物理规律的特定领域数据等。

在物理评估方面，也就是衡量模型的物理“实力”时，综述同时分析了现有方法是如何评估图像或视频生成模型的物理刻画能力的。传统的评估指标在检测物理规律的符合程度方面存在不足。

于是，研究人员提出了专门的数据集和指标。例如PhyBench、PhyGenBench和VideoPhy等Benchmark，这些数据集涵盖力学、光学、热学和材料等物理领域，通过构建相关场景和文本提示词来评估模型。

在评估指标方面，分为人工评估和自动评估。人工评估是针对物理现象的不同维度进行打分，自动评估则包括利用视觉语言模型LVMs获取评估分数等。

最后，综述对生成式“物理AI”的未来进行了展望，涉及评估方式、可解释性、物理知识增强的大模型、神经 - 符号混合模型、生成式模拟引擎、跨学科应用等多种可能。如果想要深入了解文中提及的研究成果，可以访问https://github.com/BestJunYu/Awesome - Physics - aware - Generation查看相关论文汇总。

本文介绍了机器之心AIxiv专栏的作用，引出关于生成式“物理AI”的综述文章。详细阐述了生成式“物理AI”的核心概念、有显式模拟的生成（PAG - E）的六大范式、无显式模拟的生成（PAG - I）相关工作、模型物理刻画能力的评估方法，最后展望了生成式“物理AI”的未来发展方向。通过这篇文章，读者能够对生成式“物理AI”在视觉生成模型中的相关研究有较为全面的了解。