菠菜平台-十大菠菜平台

学院新闻

2024年5月2日，中国盘算机学会（CCF）推荐的A类国际学术聚会会议ICML 2024论文接收结果宣布。菠菜平台高瓴人工智能学院师生有14篇论文被录用。国际机械学习大会（The International Conference on Machine Learning ，简称ICML）在人工智能和机械学习领域享有很高的学术声誉， 第41届聚会会议将于7月21-27日在奥地利维也纳举办。

论文题目：EquiPocket: an E(3)-Equivariant Geometric Graph Neural Network for Ligand Binding Site Prediction

作者：张阳, 魏哲巍, 黄文炳, 袁野, 李崇轩

通讯作者：魏哲巍, 黄文炳

论文概述：准确预测卵白质外貌的可结合位点在药物发现中起着基础性的作用。当前大多数深度学习要领将卵白质视为3D图像并进行体素化处置惩罚，再使用卷积神经网络进行预测。这些要领面临着多种先天不足：对旋转敏感、难以学习庞大的卵白质结构信息、只能处置惩罚特定巨细的卵白质等等。因此, 我们在E(3)-等变图神经网络(GNN)基础上提出了 EquiPocket 要领, 该要领将卵白质视为图结构, 通太过析卵白质的内部结构信息和整体几何信息, 实现了对结合位点的高效预测。

论文题目：Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training

作者：杨锦霞，苏冰，赵鑫，文继荣

通讯作者：苏冰，赵鑫

论文概述：医学视觉语言预训练要领主要利用配对的医学图像和放射陈诉之间的对应关系。尽管在现有的多模态医学数据集中可以获得多视角的空间图像以及图像-陈诉对的时间序列，但大多数现有要领尚未利用如此广泛的监视信号。在本文中，我们提出了Med-ST框架，以利用来自差异空间视角的图像和历史纪录。对于空间建模，Med-ST接纳Mixture of View Expert来集成来自正面和侧面视图的视觉特征。除了图像和文本之间的全局对齐外，Med-ST 还在文本token和图像的空间区域之间建设了模态加权的局部对齐。对于时间建模，我们提出了一种通过正向映射分类和反向映射回归的新颖的跨模态双向循环一致性目标。通过从简朴到庞大的时间信息感知，Med-ST可以学习时间语义。四种差异任务的实验结果证明了Med-ST的有效性，特别是在时间相关的分类任务中。

论文题目：Perfect Alignment May be Poisonous to Graph Contrastive Learning

作者：刘敬宇，唐华镱，刘勇

通讯作者：刘勇

论文概述：由于数据规模的增大以及标签信息的缺失，自监视要领在图机械学习中的使用逐渐广泛。图对比学习在数据增强后，获得两个视图，两视图中的对应节点作为正样本，其余节点作为负样本。已往的研究者一般认为最优的对比学习需要进行完美的正样本对齐（正样本的表征一致），以及负样本表征在特征空间的均匀漫衍。同类节点在经过较强的数据增强后的特征空间可能存在交集（augmentation overlap），因此，通过一个较强的数据增强，正样本对齐可以一定水平上拉近同类样本距离。然而，在图对比学习中，发现一个更强的数据增强并不能资助同类样本的对齐，但会增加差异类样本之间的距离，随后利用信息论以及图谱要领进行分析，并针对性设计了算法以提升图对比学习性能。

论文题目：Algorithmic Stability Unleashed: Generalization Bounds with Unbounded Losses

作者：李少杰，朱博炜，刘勇

通讯作者：刘勇

论文概述：在统计学习理论中，一个焦点问题是在概率框架内量化学习算法的泛化能力。算法稳定性是推导泛化界限的强大工具，然而，它通常建设在一个要害假设上，即损失是有界的。在本文中，我们放宽了这个条件到带有次威布尔直径（subweibull diameter）的无界损失函数。这为算法稳定性提供了新的泛化界限，并将次高斯和次指数直径的现有结果作为特例包罗在内。此外，我们提供了更精细的稳定性分析，其开发的泛化界限的速度可以比之前的结果快根号n倍，其中n是样本巨细。

论文题目：Concentration Inequalities for General Functions of Heavy-Tailed Random Variables

作者：李少杰，刘勇

通讯作者：刘勇

论文概述：集中不等式在机械学习和高维统计学研究中起着至关重要的作用。本文获得了独立随机变量函数的有界差分不等式的无界类比，将有界差分条件推广到具有有限方差的重尾漫衍。为了说明我们结果的有效性，我们将其应用于次指数尾部、次威布尔尾部和更重的多项式衰减尾部，展示了如何将现有结果推广到有限方差漫衍。这些不等式具有广泛的应用空间。

论文题目：Generalizing Knowledge Graph Embedding with Universal Orthogonal Parameterization

作者：李锐，李朝卓，申彦明，张泽宇，陈旭

通讯作者：陈旭

论文概述：知识图谱体现的最新进展依赖于欧式或双曲几何下的正交关系变换来建模重要的逻辑模式和拓扑结构。然而，现有要领局限于刚性（维度受限且几何同质）的关系正交变换，导致建模能力不足。为了突破现有要领在维度和几何方面的限制，本文设计了一种以广义Householder反射作为基本变换的通用正交参数化要领，进而提出了一种新颖且强大的知识体现框架。这种参数化要领可以自然地实现维度扩展和几何统一，并具有理论保证，使我们的框架能够同时捕捉知识图谱中要害的逻辑模式和固有的拓扑异质性。在实验方面，本文所提出的框架在三个基准数据集上取得了最先进的性能。

论文题目：Relaxing the Accurate Imputation Assumption in Doubly Robust Learning for Debiased Recommendation

作者：李昊轩，郑淳元，王舒逸，吴昆翰，王浩，吴鹏，耿直，陈旭，周晓华

通讯作者：陈旭，周晓华

论文概述：推荐系统旨在凭据用户的行为和偏好推荐他们可能感兴趣的物品或信息。然而，现有的推荐系统在训练数据收集历程中可能会存在选择偏差，即收集到的数据不能有效代表目标总体。以前的研究提出了许多基于伪标签的去偏要领来消除选择偏差。然而，这些要领的有效性在很洪流平上依赖于准确的伪标签预计，而这在现实场景中很难满足。本文从理论上提出了几种新型的双稳健预计器，它们在以下两种情况下无偏：(a) 伪标签与真实标签之间存在任意的用户特定归纳偏置、物品特定归纳偏置或二者的加性组合；或 (b) 学习到的倾向得分是准确的。此外，我们进一步提出了一种利用注意力机制自适应地更新约束权重的倾向重构学习要领，而且该学习要领可以有效控制方差。在一个半合成数据集和三个真实世界数据集上的大量实验讲明所提出的要领体现优于最先进的去偏要领。

论文题目：MMPareto: Innocent Uni-modal Assistance for Enhanced Multi-modal Learning

作者：卫雅珂，胡迪

通讯作者：胡迪

论文概述：具有针对性单模态学习目标的多模态学习要领在缓解不平衡的多模态学习问题方面体现出了卓越的效果。然而，我们发现，之前被忽视的多模态和单模态学习目标之间的梯度冲突，这可能会误导单模态编码器的优化。我们首先视察发现多模态损失和单模态损失之间的差异，即较易学习的多模态损失的梯度幅度和协方差都小于单模态损失。利用这一特性，我们进一步分析了多模态情况下的帕累托梯度整合，并提出了 MMPareto 算法，该算法可以确保最终梯度的偏向与所有学习目标一致，并增强梯度的幅度以提高泛化能力，从而提供无害的单模态资助。最后，笼罩了多种模态类型和多模态框架的实验讲明，我们的要领性能优越且可扩展，而且另有望在任务难度差异明显的多任务情况下具有有效性，体现了了其理想的可扩展性。

论文题目：Unifying Bayesian Flow Networks and Diffusion Models through Stochastic Differential Equations

作者：薛凯文*、周聿浩*、聂燊、闵旭、张晓露、周军、李崇轩

通讯作者：李崇轩

论文概述：贝叶斯流网络（BFN）通过贝叶斯推断，在种种噪声水平下迭代地细化漫衍的参数，而不是扩散模型中的样本。由于其可微性质，BFN在同时保持快速采样能力的情况下，对连续和离散数据的建模都显示出了前景。本文旨在通过随机微分方程（SDE）将BFN与扩散模型联系起来，以理解和革新BFN。

我们确定了与BFN中噪声添加历程相对应的线性SDE，证明了BFN的回归损失与去噪得分匹配损失相一致，并验证了BFN中的采样器作为相应反向SDE的一阶求解器的有效性。基于这些发现以及扩散模型中快速采样的现有方案，我们为BFN提出了专门的求解器，这些求解器在样本质量方面显著凌驾了原始BFN采样器，且在有限的函数评估次数下（例如，10次），对图像和文本数据集均有效。值得注意的是，我们的最佳采样器实现了5至20倍的速度提升，且无需特别成本。

论文链接：https://arxiv.org/abs/2404.15766

代码链接：https://github.com/ML-GSAI/BFN-Solver

论文题目：Improving Equivariant Graph Neural Networks on Large Geometric Graphs via Virtual Nodes Learning

作者：张岳霖*，岑嘉诚*，韩家琦*，张志强，周俊，黄文炳

通讯作者：黄文炳

论文概述：等变图神经网络在种种科学应用中取得了显着的乐成。然而在面对大型几何图时，现有的等变图神经网络的效率会成为一大问题，而且如果将输入简化后的稀疏局部图以加速速度，则等变图神经网络性能会很差。在本文中，我们提出了FastEGNN，这是针对大型几何图设计的等变图神经网络增强模型。其焦点思想是利用一小部门有序的虚拟节点来近似真实节点的无序大图——具体地说，我们通过区分差异虚拟节点的消息通报和聚合，以增强相互的奇特性，并最小化虚拟坐标和真实坐标之间的最大平均差异（MMD），以实现全局漫衍对齐。FastEGNN 满足所有须要的 E(3) 对称性，并具有充实的表达能力。我们在多体系统（100 个节点）、卵白质动力学（800 个节点）和3D水分子（8000 个节点）上进行的实验讲明，FastEGNN 在准确性和效率之间实现了良好的平衡，甚至在删除所有真实节点间连边后，其在卵白质动力学与3D水分子的任务上取得准确性也优于原先的EGNN模型。

论文题目：Generalist Equivariant Transformer Towards 3D Molecular Interaction Learning

作者：孔祥哲，黄文炳，刘洋

通讯作者：黄文炳，刘洋

论文概述：生物学和药物发现中的许多历程涉及分子之间的种种3D相互作用，例如卵白质与卵白质、卵白质与小分子等。由于差异的分子通常以差异的粒度进行体现，现有要领通常使用差异的模型独立编码每种类型的分子，从而无法有效学习普遍的相互作用物理原理。在本文中，我们首先提出将任意3D复合物通用地体现为一个荟萃的几何图，揭示了用一种模型编码所有类型分子的要领。然后，我们提出了一种通用等变Transformer（Generalist Equivariant Transformer，GET），以有效捕捉特定领域的条理结构和通用领域的相互作用物理特性。具体来说，GET由双层注意力模块、前馈模块和层归一化模块组成，每个模块都是E(3)等变的，而且可以用于处置惩罚巨细动态改变的荟萃。值得注意的是，与传统的基于池化的分层模型差异，我们的GET能够保留所有条理的细粒度信息。我们在卵白质、小分子和RNA/DNA之间的相互作用上进行了广泛的实验，验证了我们所提出的要领在差异领域中的有效性和通用性。

论文题目：Subequivariant Reinforcement Learning in 3D Multi-Entity Physical Environments

作者：陈润发，汪羚，杜雨，薛天瑞，孙富春，张建伟，黄文炳

通讯作者：孙富春，黄文炳

论文概述：多实体系统在三维情况中的战略学习比单实体场景庞大得多，这是由于随着实体数量的增加，全局状态空间呈指数增长。一种缓解指数庞大性的要领是将全局空间划分为独立的局部视图，这些视图对包罗平移和旋转在内的变换是稳定的。为此，本文提出了子等变分层神经网络（SHNN）来进行多实体战略学习。具体而言，SHNN首先通过任务分配将全局空间动态解耦为局部实体级子图。然后，它在局部实体级子图上利用子等变图神经网络来获取独立的局部参考坐标系。这种要领专门针对受重力影响的情况进行设计，从而可以显著淘汰状态空间的冗余。此外，为了克服现有基准测试在多实体系统中对欧几里得对称约束进行检验的局限性，我们提出了多实体基准测试（MeBen），这是一套新情况，旨在探索多实体强化学习的广泛领域。大量实验讲明，在所提出的基准测试中，SHNN相比现有要领取得了显著进步。我们还进行了全面的消融实验，以验证任务分配和子等变性的须要性。

论文题目：Equivariant Diffusion for Crystal Structure Prediction

作者：林沛佳，陈品，矫瑞，莫晴，岑鉴焕，黄文炳，刘洋，黄聃，卢宇彤

论文概述：为了解决晶体结构预测（Crystal Structure Prediction, CSP）任务的执行效率和精度挑战，几何对称性可感知的深度学习模型已经被广泛研究。其中，基于扩散模型的要领通过把CSP转化为基于条件生成的任务，取得了良好的进展。然而，如何在扩散历程中保证置换、旋转和周期平移的等变性问题，仍然没有被完全解决。在这项事情中，我们提出了EDCSP，一种新颖的等变扩散生成模型。我们首先关注已有事情忽略的晶格置换等变性问题，并提出了一种考虑训练约束的解决要领；此外，我们还提出了一种奇特的加噪要领，确保扩散模型在推理和训练历程中严格遵循周期平移等变性。我们的实验讲明，EDCSP在生成精确结构方面显著优于现有模型，而且在训练历程中体现出更快的收敛速度。

论文题目：Contamination-Resilient Anomaly Detection via Adversarial Learning on Partially-Observed Normal and Anomalous Data

作者：Wenxi Lv, Qinliang Su, Hai Wan, 许洪腾, Wenchao Xu

论文概述：许多现有的异常检测要领都依赖大规模的正常数据集进行训练。但对于许多实际应用来说，受资源限制，从大规模未标志的数据集中删除所有异常样本是不现实的，进而导致我们难以获得理想的正常数据集。为了在这种情况下实现准确的检测异常，从概率论的角度来看，要害问题是如何从受污染的数据集中学习正常数据的漫衍。为此，我们提出了一种新的要领，通过收集两个特别的由正常和异常样本组成的小数据集进行反抗性学习，进而对正常数据漫衍进行预计。我们证明，在一些温和的条件下，我们所提出的要领能够学习正确的正常数据漫衍。此外，我们考虑了由于两个附加数据集较小而导致的过拟合问题，并进一步开发了保证模型正确性的翻转机制来缓解该问题。大量的实验结果讲明，在检测受污染数据集条件下的异常情况时，我们的要领优于基准要领。