菠菜平台-十大菠菜平台

学院新闻

4月26日，中国盘算机学会（CCF）推荐的A类国际学术聚会会议ICML2023论文接收结果宣布。菠菜平台高瓴人工智能学院师生有12篇论文被录用。国际机械学习大会（International Conference on Machine Learning）被公认为机械学习、人工智能领域声望最高的聚会会议之一，在世界规模内每年召开一次。ICML2023共收到6,538篇投稿，最终录取1,827篇，录用率为27.94%。

论文介绍

论文题目：Graph Neural Networks with Learnable and Optimal Polynomial Bases

作者：郭雨荷，魏哲巍

通讯作者：魏哲巍

论文概述：谱域图神经网络最近有不少事情，基本上都是利用差异的多项式基去近似图卷积。从实践和理论出发，我们认为对差异的输入信号和图结构，最合适的多项式基是纷歧样的。基于此，本文提出两种模型：（1）FavardGNN。它立足于正交多项序列的Favard’s定理和Three-term Recurrence，允许滤波器从整个尺度正交多项式基的空间中学习基，取代了之前凭据已有知识精心选择某个牢固多项式基的模式；（2）OptBasisGNN。它提出了求解收敛性质最优的多项式基的高效要领。该最优多项式基的界说在前继事情中被提出，但被认为不能在可蒙受时间内解出，本文通过Three-term Recurrence的思想实现了对其隐式、高效的利用。

论文介绍

论文题目：Semi-Offline Reinforcement Learning for Optimized Text Generation

作者：陈畅与，王希廷，靳轶乔，Victor Ye Dong，董力， Jim Cao，Yi Liu, 严睿

通讯作者：严睿，王希廷

论文概述：在强化学习中，主要有两种与情况交互的设置：在线和离线。在线要领以昂贵的时间成本探索情况，而离线要领通过牺牲探索能力淘汰时间成本。我们提出了半离线强化学习，这是一种新的范式，可以平滑地从离线设置转到在线设置，平衡探索能力和训练时间成本。我们也为比力差异的半离线强化学习设置提供了一个理论基础，在半离线设置的马尔可夫决策历程下，我们提出了在训练成本、渐进误差和过拟合误差上界等方面最优的强化学习设置。广泛的实验讲明，我们的半离线强化学习要领在种种文本生成任务和数据集中是有效的，与最先进的要领相比，可以到达可比的或通常更好的性能。

论文介绍

论文题目：Towards Understanding the Generalization of Graph Neural Networks

作者：唐华镱，刘勇

通讯作者：刘勇

论文概述：图神经网络（GNN）在图表征学习中获得了广泛的应用。尽管它们在应用上取得了特殊的乐成，从理论上理解其事情机制仍处于低级阶段。在本文中，我们从泛化的角度朝着这个目标前进。具体而言，我们在考虑随机优化的情况下，建设了转导学习（Transductive Learning）的泛化间距 （Generalization Gap）和梯度的高概率界。然后，我们给出了众多流行GNN的泛化间距的高概率界，并讨论了影响泛化能力的因素。这些理论结果揭示了GNN的网络结构如何影响模型的泛化能力。基准数据集上的实验结果讲明理论结果能较好地与实际情况切合。我们的研究结果为理解GNN的泛化带来新的看法。

论文介绍

论文题目：Distribution-dependent McDiarmid-type Inequalities for Functions of Unbounded Interaction

作者：李少杰，刘勇

通讯作者：刘勇

论文概述：集中不等式在高维统计和机械学习中发挥着至关重要的作用。本文为三类流行漫衍（次高斯漫衍、次指数漫衍和重尾漫衍）提供McDiarmid指数不等式的无界类比。与最近的结果相比，我们在次高斯和次指数情况下的不等式是漫衍相关的，而重尾情况下的不等式在以前的事情中没有研究过。通过对样本均值、U-统计量和V-统计量的应用，说明了不等式的有用性。

论文介绍

论文题目：Optimal Convergence Rates for Agnostic Nystroem Kernel Learning

作者：李健，刘勇，王伟平

通讯作者：刘勇

论文概述：Nystroem低秩近似在处置惩罚大规模核矩阵和神经网络方面潜力巨大。然而，目前Nystroem要领的最优率理论通常假设目标回归必须位于假设空间中。本文针对这些问题，提出了一种精细的Nystroem近似广义分析，放松假设至不行知情形，即目标回归不在假设空间。具体而言，我们证明了Nystroem近似在不行知条件下仍能实现与容量相关的最优速率。利用数据依赖采样，我们首次为Nystroem近似要领推导出适用于整个不行知条件的容量相关最优速率。

论文介绍

论文题目：Consistency of Multiple Kernel Clustering

作者：梁伟轩，刘新旺，刘勇，马川，赵云平，刘哲，祝恩

论文概述：一致性在学习理论中有着重要职位。然而在多核聚类算法中，核组合系数的一致性却没有被充实研究。在本文中，作者通太过析一个名为SimpleMKKM的核组合系数的一致性，对上述问题进行了探索。在基于特征值间隔的假设下，作者给出了该算法在训练集及全样本空间上获得系数差异的非渐近上界，据此可知该算法具备一致性。利用这一结论，作者建设了该算法的特别聚类风险上界。此外，作者还研究了算法在训练集及其随机采样子集上学习到系数的差异，而且据此提出了一种具备理论保证的大规模拓展方案。最后，大量的实验结果验证了所证明理论的正确性和所提出算法的有效性。

论文介绍

论文题目：End-to-End Full-Atom Antibody Design

作者：孔祥哲，黄文炳，刘洋

通讯作者：黄文炳，刘洋

论文概述：抗体设计是生命科学、药物发现领域重要且充满挑战性的问题。当前基于机械学习的抗体设计要领存在明显缺点：1. 只能解决抗体设计整体流程中的某个子问题；2. 没有考虑全原子级此外体现。为了解决这些问题，本文在我们ICLR 2023论文MEAN的基础上提出端到端模型dyMEAN，能在只给定抗原表位结构与不完整抗体序列的前提下，实现抗体的序列预测以及抗原-抗体复合物结构预测。具体来说，我们首先通过数据集中抗体较为稳定的残基来初始化构建抗体结构，然后提出影子paratope桥接抗体与抗原表位。1D序列和3D结构都通过自适应多通道等变编码器进行更新，该编码器能够在考虑完整原子时处置惩罚可变巨细的卵白质残基。最后，更新后的抗体通过对齐真实paratope和影子 paratope的位姿，实现与抗原表位的对接。表位CDR-H3设计、庞大结构预测和亲和优化实验证明了我们的端到端框架和全原子建模的优势。

论文介绍

论文题目：Subequivariant Graph Reinforcement Learning in 3D Environments

作者：陈润发*，韩家琦*，孙富春，黄文炳

通讯作者：孙富春，黄文炳

论文概述：论文被接收为oral论文。在强化学习（RL）中，学习一个通用的共享战略，用于控制差异异构形态的智能体进行运动，具有重要的研究意义。为了实现这一目标，模块化RL获得了广泛研究。然而，现有的模块化RL基准情况对于起始点和目标点的选择很是受限，要求智能体仅能在2D平面内进行运动。为了克服这个问题，本研究提出了一种新颖的模块化RL基准设置，称为三维空间等变图强化学习（3D-SGRL）。具体而言，我们在3D空间中设计了一组更切合真实物理世界且具有挑战性的基准情况，允许智能体以任意起点位置和任意偏向进行全自由度的探索。此外，为了优化战略在扩展的状态-行动空间中的体现，我们提出在战略函数和Q函数的建模中注入几何对称性，即等变性，以便使得战略能够在各个偏向上具有泛化能力，从而提高探索效率。为了实现这一目标，我们设计了一种新颖的模型SubEquivariant Transformer（SET），利用等变的注意力机制，在几何图上进行更具表达力的信息交流。最后，我们在提出的基准情况上对所提出的要领进行了评估，结果显示在单任务、多任务和零样本泛化场景下，我们的要领在性能上一致且显著优于现有要领。我们还进行了大量的消融实验来验证我们的设计。

论文介绍

论文题目：Revisiting Discriminative vs. Generative Classifiers: Theory and Implications

作者：郑晨宇，吴国强，鲍凡，曹越，李崇轩，朱军

通讯作者：李崇轩

论文概述：在深度模型日趋增大，许多事情集中于下游轻量级微调乃至直接linear evaluation的配景下，我们重新审视了经典的“判别式 vs 生成式”线性分类器收敛到渐进误差的理论分析 （Ng & Jordan 2002），显著弱化了其直接优化0-1损失的假设，并从二分类推广至多分类，在深度体现学习的框架里证明了生成式线性分类器如 naive Bayes 相较于 logistic regression 的统计高效性，即 O(log dim) vs O(dim) 的样本庞大度。在模拟实验和多个现代的视觉预训练模型中，包罗 resnet, vit, clip, moco, simclr, mae, simmim，验证了理论的正确性；其中，在全监视预训练的模型中，实验发现了naive Bayes 在下游任务数据稀少情况下具有优越性，复现了浅层算法中的“two regimes ”现象 （Ng & Jordan 2002）。另外，在技术上我们提出了一种新的 multi-class H-consistency框架。

代码链接：https://github.com/ML-GSAI/Revisiting-Dis-vs-Gen-Classifiers

论文介绍

论文题目：Towards Understanding Generalization of Macro-AUC in Multi-label Learning

作者：吴国强，李崇轩，尹义龙

论文概述：Macro-AUC是多标签学习中种种别AUC的算术平均值，通常在实践中被使用。然而，对其的理论理解远远不足。为了解决这个问题，我们描述了基于相应替代损失对Macro-AUC的种种学习算法的泛化属性。我们从理论上确定了影响泛化界限的数据集的一个要害因素：标签类此外不平衡性。我们关于考虑不平衡性的泛化界的结果讲明，广泛使用的单变量损失基础算法对标签类此外不平衡比我们提出的基于成对和重新加权损失的算法更敏感，这可能体现其性能更差。此外，种种数据集上的实证结果支持我们的理论发现。为了建设这一理论，从技术上讲，我们提出了一种新的（且更通用的）McDiarmid类型的集中不等式。

论文介绍

论文题目：Contrastive Energy Prediction for Exact Energy-Guided Diffusion Sampling in Offline Reinforcement Learning

作者：路橙，陈华玉，陈建飞，苏航，李崇轩，朱军

论文概述：引导采样是在实际任务中应用扩散模型的重要要领，它在采样历程中嵌入了人为界说的引导。本文考虑了一个通用设置，其中引导是由一个（非尺度化的）能量函数界说的。这个设置的主要挑战是扩散采样历程中的中间引导，它是由采样漫衍和能量函数配合界说的，是未知的，且难以预计。为了应对这个挑战，我们提出了中间引导的精确公式，以及一个名为对比能量预测（CEP）的新颖训练目标，用来学习精确的引导。在无限模型容量和数据样本下，我们的要领保证收敛到精确的引导，而以前的要领不能。我们通过将其应用于离线强化学习（RL）来展示我们要领的有效性。在D4RL基准测试上的大量实验讲明，我们的要领凌驾了现有的最先进的算法。我们还提供了一些将CEP应用于图像合成的例子，以展示CEP在高维数据上的可扩展性。

论文介绍

论文题目：One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale

作者：鲍凡，聂燊，薛凯文，李崇轩，蒲石，王耀乐，岳岗，曹越，苏航，朱军

论文概述：本文提出了一个统一的扩散框架（称为UniDiffuser），用于在一个模型中拟合与一组多模态数据相关的所有漫衍。我们的要害洞察是：学习边际、条件和联合漫衍的扩散模型可以统一为预测扰动数据中的噪声，其中差异模态的扰动水平（即时间步）可以差异。受到统一视角的启发，UniDiffuser通过对原始扩散模型进行最小修改来同时学习所有漫衍----扰动所有模态的数据而不是单一模态，输入差异模态的各个时间步，预测所有模态的噪声而不是单一模态。UniDiffuser的参数化接纳针对扩散模型的Transformer处置惩罚差异模态的输入类型。在大规模成对的图像-文本数据上实现的UniDiffuser通过设置适当的时间步，可以在没有特别开销的情况下执行图像、文本、文本到图像、图像到文本和图像-文本对生成。特别是，UniDiffuser能够在所有任务中生成在感知上真实的样本，其定量结果（例如，FID和CLIP得分）不仅优于现有的通用模型，而且与定制模型（例如，Stable Diffusion和DALL-E 2）在代表性任务（例如，文本到图像生成）中具有可比性。

代码链接：https://github.com/thu-ml/unidiffuser