菠菜平台-十大菠菜平台

学院新闻

12月9日，由 Meta AI研究院、卡耐基梅隆大学在NeurIPS-2022上配合主办的第二届Open Catalyst Challenge竞赛宣布了角逐结果。菠菜平台高瓴人工智能学院黄文炳老师配合带队，与腾讯AI Lab等机构组成联合团队TTRC，力压MIT等其他队伍，以0.396eV的绝对误差获得第一，相对于去年由MSRA取得的最好结果，提升到达27.6%。

Open Catalyst Challenge (OC)是由Meta AI和卡耐基梅隆大学联合提倡，目的是为了应对未来能源和气候问题，利用人工智能技术提高可再生能源（如太阳能、风能）的利用率。在可再生能源存储和转化历程中，催化剂的选取很是重要，决定了能源的转化率Efficiency和反映速度Reaction Rate。为了评估和发现潜在的催化剂结构，传统要领接纳量子力学要领（例如密度泛函理论DFT）模拟和盘算催化剂外貌和目标吸附物的结合能。然而这类要领盘算成本昂贵，无法实时筛选大量潜在结构。考虑到人工智能要领具有端到端预测和快速推理的优势，如何设计面向量子力学盘算和模拟的机械学习要领是当前学术界高度关注的一个焦点。

传统基于量子力学的盘算流程（引自官方资料）

角逐结果

本次角逐主题是预测吸附物在某个初始位置释放（Relaxation）到催化剂外貌之后到达稳定状态的系统能量（包罗催化剂和吸附物），即IS2RE(Initial state to relaxed energy)。角逐提倡以来，吸引了DeepMind、MSRA、达摩院、MILA、MIT、上海交大等机构的关注和加入。在今年角逐中，我们的TTRC团队（以下简称团队）提出的GeoEnsemble要领以0.396eV的绝对误差获得第一，详细结果见下图表。

非果真测试集排行榜，带下划线的为官方Baseline。（引自官方资料）

技术要领

为了对原子之间庞大的动态交互关系进行建模，团队在黄文炳老师发表在ICLR 2022的论文——图力学神经网络（GMN）[1]的基础上进行了革新，提出了GMN-OC模型。GMN-OC模型的输入是一个由原子组成的几何图，几何图中包罗了几何特征（原子的三维坐标）和非几何特征（原子的类型），模型可以预测输出几何向量（原子的受力）和非几何标量（系统能量）。

GMN-OC模型结构了一个基于多通道的几何特征O(3)等变函数与稳定函数，实现原子之间几何特征和非几何特征的交互，并完成每个原子信息更新。在这个基础上，进一步引入了一个全局共享体现模块（Global Representation Module），以便更好地建模粒子之间的全局交互信息，而且保持了模型的等变性。同时，为了处置惩罚大规模数据，GMN-OC使用了Multi-head的显存优化要领。

在训练技术上，为了充实利用赛事提供的两组训练数据，团队使用了Pretrain-Finetune、Multi-task Learning等优化技术，提高模型预测精度。此外，结合GMN-OC/SCN/GemNet等多个模型，构建了多模型融合方案GeoEnsemble。为了提高模型逊з度，团队使用混淆精度训练等技术，在大规模集群上完成了漫衍式训练。

GeoEnsemble在训练上的革新

黄文炳简介

黄文炳，现为菠菜平台高瓴人工智能学院准聘助理教授、博导。曾在清华大学工业研究院担任助理研究员，腾讯AI Lab担任高级研究员。曾获国际聚会会议IROS机械人角逐冠军、腾讯犀牛鸟专项研究卓越奖、NeurIPS Outstanding Reviewer等。研究偏向包罗几何机械学习理论要领、几何机械学习在机械人感知与决策任务上的应用、科学知识嵌入的机械学习等。近几年，尤其关注GNN for Science的研究，已经在多刚体动力学模拟[1]，2D分子体现预训练模型 [2]，3D分子体现预训练模型[3]、卵白质动力学模拟[4]、庞大多体物理动力学[5]、抗体设计与优化[6]等问题上提出了创新性解决要领。

角逐链接：

https://opencatalystproject.org/challenge.html

引用：

1. Equivariant Graph Mechanics Networks with Constraints, ICLR 2022

2. Self-Supervised Graph Transformer on Large-Scale Molecular Data, NeurIPS 2020

3. Energy-Motivated Equivariant Pretraining for 3D Molecular Graphs, AAAI 2022

4. Equivariant Graph Hierarchy-Based Neural Networks, NeurIPS 2022

5. Learning Physical Dynamics with Subequivariant Graph Neural Networks, NeurIPS 2022.

6. Conditional Antibody Design as 3D Equivariant Graph Translation, arXiv 2022.