2月27日，中国盘算机学会（CCF）推荐的A类国际学术聚会会议CVPR 2023论文接收结果宣布。菠菜平台高瓴人工智能学院师生有6篇论文被录用。国际盘算机视觉与模式识别聚会会议（Conference on Computer Vision and Pattern Recognition，简称CVPR）是由IEEE举办的盘算机视觉和模式识别领域的顶级聚会会议，在世界规模内每年召开一次，本届聚会会议录用率为25.78%。

论文介绍

论文题目：HOTNAS：Hierarchical Optimal Transport for Neural Architecture Search

作者：杨杰超，刘勇，许洪腾

通讯作者：刘勇

论文概述：现有神经网络搜索要领（Neural Architecture Search, NAS）要领逐渐从搜索整个网络过渡到搜索相对较小的单元子网络来淘汰搜索成本，其中主要面临的挑战是同时丈量差异网络中单元子网络的微观结构相似度和整体宏观结构的差异。最近最优传输要领（optimal transport，OT）由于能够同时学习差异网络的操作和结构相似性乐成应用于NAS中。然而现有基于最优传输的NAS要领忽略了网络中差异子网络的相似性或者局限于单一网络单元结构搜索。 为了解决这些问题，我们提出一种基于分层最优传输的要领称为HOTNN 丈量网络的相似性。其中在单元子网络层面，同时考虑了单元中每个节点的相似性和单元内信息流动成本的差异；在宏观网络层面，同时考虑差异网络中单元子网络之间的相似性和网络中每个单元子网络在全局位置上的差异。为了证明HOTNN的有效性，本文进一步探讨了HOTNN距离在基于贝叶斯优化的NAS框架下的应用。实验结果讲明我们所提出要领在多个任务中均体现出更好的性能。

论文介绍

论文题目：Fair Scratch Tickets: Finding Fair Sparse Networks without Weight Training

作者：唐鹏威*，姚巍*，李智聪，刘勇

通讯作者：刘勇

论文概述：最近的研究讲明，盘算机视觉模型存在着损害公正性的风险。大量的事情使用预处置惩罚、处置惩罚中和后处置惩罚这三类要领来缓解盘算机视觉中的不公正性。本文从彩票假说的视角提出了一种新的公正性处置惩罚中学习范式。对于一个随机初始化的稠密神经网络，我们无需训练模型权重，而是仅仅通过找到合适的二进制掩码来获取公正的稀疏子网络。有趣的是，据我们所知，我们首次发现在随机初始化的稠密网络中，存在具有先天公正性的稀疏子网络，而且其准确性-公正性的权衡性能与现有的处置惩罚中要领训练的稠密神经网络相当。我们将这些公正的子网络称为公正初始彩票（FSTs）。我们还从理论上为它们提供了公正性和准确性的保证。在实验中，我们研究了FSTs在多种数据集、标签属性、随机初始化要领、稀疏模式和公正性署理函数上的存在性。我们还发现FSTs可以跨数据集迁移，而且还研究了FSTs的其他属性。

论文介绍

论文题目：Modeling Video as Stochastic Processes for Fine-Grained Video Representation Learning

作者：张恒，刘大庆，郑琪，苏冰

通讯作者：苏冰

论文概述：目前视频表征学习要领大多通过同一类视频的对齐或探索多个视角之间的相关性来学习细粒度的时空特征，却忽略了每个视频内的动态历程。在本文中，我们提出通过一种新的基于历程的对比学习要领来学习帧级此外细粒度视频表征，旨在区分细粒度的行动阶段并同时捕捉行动中的动态变化。具体而言，我们将视频建模为有目标导向的随机历程，一种听从时变高斯漫衍的布朗桥历程，并通过基于该历程的对比损失，将视频表征映射到布朗桥的隐空间中，使正确的视频帧嵌入到目标布朗桥的相应位置。我们为差异的标注场景设计了专门的布朗桥构建战略，可以用于自监视或弱监视学习。在基准数据集上的多种视频理解任务实验，证明了要领的有效性和泛化性。

论文介绍

论文题目：Transfer Knowledge from Head to Tail: Uncertainty Calibration under Long-tailed Distribution

作者：陈嘉浩，苏冰

通讯作者：苏冰

论文概述：如何预计给定模型的不确定性是一个至关重要的问题。当前的校准技术平等看待差异的类别，因此隐含地假设训练数据的漫衍是平衡的，但忽略了现实世界的数据通常遵循长尾漫衍的事实。在本文中，我们探讨了校准从长尾漫衍训练的模型的问题。由于不平衡训练漫衍宁静衡测试漫衍之间的差异，现有的温度缩放等校准要领不能很好地推广到这个问题。用于域适应的特定校准要领也不适用，因为它们依赖于不行用的未标志目标域实例。从长尾漫衍训练的模型往往对头类过于自信。为此，我们提出了一种新的基于知识转移的校准要领，通过预计尾类样本的重要性权重来实现长尾校准。我们的要领将每个类的漫衍建模为高斯漫衍，并将头类的源统计数据视为先验，以校准尾类的目标漫衍。我们自适应地重新部类转移知识以获得尾部类的目标概率密度。重要性权重由目标概率密度与源概率密度的比率来预计。在 CIFAR-10-LT、MNIST-LT、CIFAR-100-LT 和 ImageNet-LT 数据集上进行的大量实验证明了我们要领的有效性。

论文介绍

论文题目：All are Worth Words: A ViT Backbone for Diffusion Models

作者：鲍凡，聂燊，薛凯文，曹越，苏航，李崇轩，朱军

通讯作者：李崇轩，朱军

论文概述：我们为扩散概率模型设计了一个基于transformer的架构U-ViT。类似U-Net，U-ViT也引入了跨层链接，大大提升了图像建模性能。U-ViT无论是在像素空间或是在隐空间上都能取得和SoTA可比甚至更好的效果。代码已经放出：https://github.com/baofff/U-ViT，对于代码我们也做了不少优化，能够在两张a100上以1024的batch size高效训练我们最大的imagenet 512x512模型。

论文介绍

论文题目：Compacting Binary Neural Networks by Sparse Kernel Selection

作者：王一凯，黄文炳，董胤蓬，孙富春，姚安邦

论文概述： 二值神经网络（BNN）接纳用1比特卷积权重来提高存储和盘算的效率。本文的出发点是基于先前揭示的一个现象，即在训练完成后的BNN中，二值卷积核险些是满足幂律漫衍的。这一现象勉励我们压缩典型的BNNs，并学习选择非重复的二值卷积核来获得性能的提升。具体来说，我们将神经网络二值化历程视为从二值卷积核空间中选择一个较小的子集，我们提出“排列梯度直通预计”（PSTE）对选择历程进行端到端的优化，并保持所二值卷积核的非重复占用。通过图像识别和目标检测等实验的验证，我们的要领相比BNNs能够进一步淘汰模型巨细和盘算开销，且在与BNNs给定同样模型巨细和盘算开销时可以获得更高的识别效果。