菠菜平台-十大菠菜平台

学院新闻

5月15日，中国盘算机学会（CCF）推荐的A类国际学术聚会会议ICML 2022论文接收结果宣布。菠菜平台高瓴人工智能学院师生有8篇论文（均为长文）被录用。 国际机械学习大会(International Conference on Machine Learning，简称ICML ) 是由国际机械学习学会（IMLS）主办的机械学习国际顶级聚会会议，也是菠菜平台A类学术聚会会议。ICML 2022 共收到5630 投稿，接收1117 篇 short oral，118篇 long oral，录用率为21.94%。

论文介绍

论文题目：High Probability Guarantees for Nonconvex Stochastic Gradient Descent with Heavy Tails

作者：李少杰，刘勇

通讯作者：刘勇

论文概述：随机梯度下降（SGD）是现代机械学习和数据驱动优化的主要工具。尽管SGD很受接待，但现有的SGD理论保证（guarantees）主要关注于期望保证和凸学习问题。非凸SGD的高概率保证很少，通常依赖于“轻尾”(light-tailed)噪声假设，或者单独研究优化(optimization)和泛化(generalization)性能。在本文中，我们从优化和泛化性能的联合角度，给出了非凸SGD的高概率保证。我们不考虑轻尾假设，而是考虑梯度噪声听从重尾的次威布尔漫衍（sub-Weibull distribution），这是一类将次高斯（sub-Gaussian）漫衍和次指数(sub-Exponential)漫衍推广到潜在重尾漫衍的新型漫衍。在这些庞大的条件下，我们首先给出了一般非凸学习中优化和泛化的高概率界限（bound）。我们然后转移到具有梯度主导曲率条件的非凸学习，提高了优化和泛化的收敛速度。再有，通过考虑轻微（weak）的伯恩斯坦（Bernstein）型噪声条件，我们进一步获得了更紧的学习保证。我们的分析揭示了在差异条件下优化和泛化性能之间的权衡效应（trade-off）。最后，我们证明了梯度裁剪(clipping)可以用来消除有界梯度类型的假设。

论文介绍

论文题目：Deep Safe Incomplete Multi-view Clustering: Theorem and Algorithm

作者：唐华镱，刘勇

通讯作者：刘勇

论文概述：非完整多视图聚类是多视图学习中重要且极具挑战的任务。我们视察到从完整和非完整数据中学习可能比仅从完整数据中学习更差，尤其是当填补视图与缺失视图之间存在语义纷歧致的时候。为了解决这个问题，我们提出了一个新的框架来淘汰语义纷歧致的填补视图导致的聚类性能下降风险。具体地，所提出的双层优化框架基于特征动态挖掘语义邻居并由此填补缺失视图，同时自动选择填补样本进行训练。在理论上，所提出模型在完整数据上的经验风险不高于仅在完整样本中学习模型的经验风险，同时，该模型的期望风险以高概率不低于仅在完整样本中学习模型的期望风险。在基准数据集上的综合实验证明了该框架在实现宁静非完整多视图聚类方面的有效性和优越性。

论文介绍

论文题目：Interventional Contrastive Learning with Meta Semantic Regularizer

作者：强文文*，李江梦*，郑昌文，苏冰，熊辉

通讯作者：苏冰

论文概述：基于对比学习的自监视学习模型以成对的方式学习视觉体现。虽然目前主流的对比学习模型取得了长足的进步，但在本文中，我们发现了一个一直被忽视的现象：当对比学习模型用全图训练时，全图测试的性能优于前景区域；当用前景区域训练对比学习模型时，在全图像中测试的性能比在前景区域中要差。这一视察讲明，图像中的配景可能会滋扰模型学习语义信息，而且它们的影响尚未完全消除。为了解决这个问题，我们建设了一个结构因果模型来将配景建模为混杂因素。我们提出了一种基于后门调整的正则化要领，即带有元语义正则化器的介入对比学习（ICL-MSR），以对所提出的结构因果模型进行因果干预。ICL-MSR 可以合并到任何现有的对比学习要领中，以减轻体现学习的配景滋扰。理论上，我们证明 ICL-MSR 实现了更严格的误差界限。实验上，我们在多个基准数据集上的实验讲明，ICL-MSR 能够提高差异最先进的对比学习要领的性能。

论文介绍

论文题目：MetAug: Contrastive Learning via Meta Feature Augmentation

作者：李江梦*，强文文*，郑昌文，苏冰，熊辉

通讯作者：苏冰

论文概述：什么对对比学习很重要？我们认为对比学习在很洪流平上依赖于有信息量的特征，或“困难的”（正例或负例）特征。早期的要领通过应用庞大的数据增强和大批量或内存库来包罗更多有信息量的特征，最近的事情设计了精细的采样要领来探索有信息量的特征。探索这些特征的要害挑战是源多视图数据是通过应用随机数据增强生成的，这使得始终在增强数据中添加有用信息是不行行的。因此，从这种增强数据中学习到的特征的信息量是有限的。在本文中，我们建议直接增强潜在空间中的特征，从而在没有大量输入数据的情况下学习判别体现。我们执行元学习技术来构建增强生成器，通过考虑编码器的性能来更新其网络参数。然而，输入数据不足可能会导致编码器学习坍塌的特征，从而导致增强生成器泛起退化的情况。我们在目标函数中进一步添加了一个新的边缘注入正则化，以制止编码器学习退化映射。为了在一个梯度反向流传步骤中对比所有特征，我们接纳了优化驱动的统一对比损失，而不是传统的对比损失。凭据实验验证，我们的要领在几个基准数据集上获得了最先进的结果。

论文介绍

论文题目：Fast-Rate PAC-Bayesian Generalization Bounds for Meta-Learning

作者：管界超，卢志武

通讯作者：卢志武

论文概述：PAC-Bayesian 泛化误差上界为元学习模型在未知任务上的泛化性能提供了理论保证。然而，到目前为止我们还不清楚我们究竟可以获得多紧的关于元学习模型的PAC-Bayesian泛化误差上界。在这篇论文中，我们提供了一个可以同时处置惩罚单任务学习和元学习的证明框架。该证明框架的要害步骤应用了Berend和Tassa在2010年证明的一个简练而深刻的定理：K个相互独立的[0,1]-值随机变量和的凸函数的期望能够被K个独立同漫衍（i.i.d.）的{0，1}-值随机变量和的凸函数的期望给控制住。基于这个定理，我们能将单任务学习中最紧的PAC-Bayesian-kl 界和PAC-Bayesian-Catoni界从独立同漫衍设置推广到独立设置，从而获得了目前为止最紧的关于元学习的PAC-Bayesian 泛化误差上界（仍记为PAC-Bayesian-kl界和PAC-Bayesian-Catoni界）。通过最小化这两个PAC-Bayesian元学习泛化误差上界，我们获得了两个基于深度神经网络的元学习分类算法。对于回归问题，通过给每一个训练任务设置最优的Gibbs后验概率，我们可以获得最小化元学习PAC-Bayesian-Catoni上界的闭式解，进而获得一个高效的元学习回归算法。虽然最小化我们的元学习PAC-Bayesian-kl上界无法获得一个闭式解，我们证明了PAC-Bayesian-kl上界可以被推广到“任务之间和任务当中的样本之间都不独立”的元学习设置。在分类和回归问题上的实验进一步说明了我们所提出的元学习算法能够和最近的事情取得相似的结果。

论文介绍

论文题目： Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models

作者：鲍凡，李崇轩，孙嘉城，朱军，张钹

通讯作者：李崇轩，朱军

论文概述：扩散概率模型是最近提出的一类重要的概率模型。为了提高扩散概率模型的推断效率，提出了其反向历程协方差矩阵的最优预计（最大似然意义下），而且进一步对该预计中数据的评分函数学习禁绝时做了最优修正（最大似然意义下），在多个扩散概率模型中取得了明显地加速效果。

论文介绍

论文题目： Maximum Likelihood Training for Score-based Diffusion ODEs by High Order Denoising Score Matching

作者：路橙，郑凯文，鲍凡，李崇轩，陈键飞，朱军

论文概述：本文从理论上指出已往的一阶评分匹配要领并非对测试时使用的概率常微分方程做最大似然预计。基于该发现，本文提出了负对数似然的一个新上界，该上界包罗高阶评分函数的预计误差，从而自然地导出高阶降噪评分匹配算法。在保证样本质量的前提下，所提算法在多个模型和数据中取得了比已往的一阶要领更好的似然结果。

论文介绍

论文题目： Fast Lossless Neural Compression with Integer-Only Discrete Flows

作者：王思宇，陈键飞，李崇轩，朱军，张钹

论文概述：相较于传统压缩要领，基于深度生成模型的无损压缩技术的压缩率已有明显优势，但是压缩盘算效率低下。这类技术的主要盘算瓶颈在于深度生成模型的实时推断速度。基于经典的量化和剪枝加速技术，我们提出完全整数化的流模型，在保证压缩率基本稳定的情况下，可以将流模型的推断速度提高10倍以上，一定水平上促进了基于深度生成模型的无损压缩技术的落地应用。