菠菜平台-十大菠菜平台

菠菜平台高瓴人工智能学院长聘副教授孙浩团队与北京航空航天大学杨立军教授团队相助，在Nature子刊Nature Machine Intelligence（《自然-机械智能》）发表题为“Learning spatiotemporal dynamics with a pretrained generative model”的Article文章，提出了一种基于扩散生成模型的动态系统预测算法，称为 S3GM（Sparse-Sensor-assisted Score-based Generative Model）。该要领融合了物理先验知识与实验丈量数据，旨在解决现代科学与工程中的一大要害挑战：从稀疏的传感器丈量数据中重建庞大的时空物理场。研究团队展示了 S3GM 纵然在数据极为不完整和有噪声的情况下，也能够准确预测燃烧、流动、气候演变及其他众多物理系统的动态历程，为动力系统建模提供了新的思路。文章配合第一作者为李泽宇（北航）、韩旺（北航），配合通讯作者为孙浩（人大）、邓岳（北航）、杨立军（北航）。

如何从稀疏的传感器丈量数据中重建庞大的时空物理场是现代科学与工程中的一大要害难题。好比，航空航天发动机测试中，传感器的数量、类型、漫衍以及丈量信噪比等往往很是有限，难以获取发动机内部完整的物理历程。传统重构要领难以对庞大的动力学进行精确重构，而现有的深度学习要领在面对差异的传感器配置时往往难以泛化。

为了解决这一难题，研究团队提出了一种基于扩散生成模型的动态系统预测算法，称为 S3GM。S3GM 模型分为两个阶段（图1）：

图1用 S3GM 建模动力系统的示意图。S3GM模型分为预训练（子图c）和生成（子图d）两个阶段

在第一阶段，S3GM在通过物理先验知识获取的时空数据上进行基于扩散模型自监视预训练，联合建模系统状态变量和参数之间的庞大动力学关系，并通过时空疏散的注意力机制来减缓算力消耗；

在第二阶段，利用预训练的扩散模型作为先验，结合稀疏的传感器数据进行后验采样来对动力系统进行重建和预测。为了生成满足视察的动力系统随时间演化的状态变量和参数，模型将完整的待重构序列分为两段子序列，其中一段直接依赖于视察数据而另一段为外推序列（不直接依赖于视察数据）。对于依赖于视察数据的子序列，S3GM并行生成多个样本，并通过添加视察一致性和序列一致性约束来生成连续帧；对于不直接依赖于视察数据的子序列，S3GM接纳自回归形式逐段生成以保证最优的效果。这种后验采样的要领不仅可以处置惩罚种种差异的传感器漫衍、类型等，还可以处置惩罚任意长的时间序列。

图2Kuramoto-Sivashinsky系统的重构与预测。上、中、下三行代表模型在三种差异的视察类型下的重构/预测结果

研究人员在多个差异的物理系统上验证了 S3GM 的有效性，结果囊括了反映扩散系统（图2）、湍流系统以及真实的气候视察数据（图3），在每个例子中测试了种种差异的视察数据形式（包罗任意时空漫衍的稀疏丈量、统计量丈量以及未来时刻预测等），S3GM 可以凭据相应的视察信息对动力系统的状态变量和参数进行有效重构而无需重新训练。这意味着 S3GM 相比于传统的端到端训练方式不仅泛化能力更好，而且面对高稀疏性以及噪声数据具有更好的鲁棒性。

图3湍流流场重构结果展示。相较于其它要领，S3GM 拥有更低的重构误差，而且更能够满足湍流场的统计指标（湍流能谱）

此外，S3GM 利用仅在仿真数据上预训练的模型，乐成从真实流场的极稀疏丈量数据中重构出流场信息（图4），证明了该模型纵然在极端数据稀疏和噪声条件下的泛化能力和鲁棒性。

图4利用实验室丈量的稀疏数据重构完整流场。子图a为实验装置图、子图b体现丈量数据仅从流场单一截面处获取，而子图c和d展示了 S3GM 重构的结果

“S3GM 从有限的、有噪声的数据中进行泛化的能力，使其成为在数据收集具有挑战性的现实场景中的强大工具”，团队研究人员体现体现，“该模型为我们提供了一种理解和预测自然界与工程庞大系统的新要领”。

研究人员计划进一步优化该模型的盘算效率，并探索其在更具挑战性的动力系统中的应用。这一事情为利用预训练生成模型来改善小数据条件下对高度庞大动力学的预测奠基了基础，为推进科学理解和技术生长提供了新的可能性。

本研究事情获得国家自然科学基金委（重大科研仪器研制项目、重点项目、重大研究计划培育项目、面上项目）以及国家重点研发计划的支持。

论文链接：

https://www.nature.com/articles/s42256-024-00938-z