菠菜平台-十大菠菜平台

学院新闻

2024年1月，人工智能领域国际学术聚会会议ICLR 2024论文接收结果宣布，菠菜平台高瓴人工智能学院师生有14篇论文被录用。ICLR，全称为「International Conference on Learning Representations」（国际学习表征聚会会议），被认为是深度学习的顶级聚会会议，ICLR 2024年聚会会议将于5月1日至5月5日举行。ICLR 是新兴的聚会会议，在最新的谷歌学术期刊和聚会会议影响力排名中位列盘算机学科前列。

论文介绍

论文题目：Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment

作者：郭歌扬*，赵元乾*，唐天一，赵鑫，文继荣

通讯作者：赵鑫

论文概述：对于大型语言模型（LLMs），与人类偏好相切合是一个重要特性。目前，人工反馈的强化学习（RLHF）是主要的对齐要领。虽然RLHF有效，但其实施和训练历程庞大。因此，最近的研究实验通过监视式微调（SFT）开发替代对齐要领。SFT的一个主要限制是，它基本上是在进行模仿学习，这并不能完全理解预期的行为。为此，我们提出了一个革新的对齐要领—细粒度指导对齐（FIGA）。与以前的要领差异，我们引入了通过对比优秀与不佳的回应获得的细粒度质量信号。我们的要领主要做出了两大孝敬：一是建设了一个配对初始回应及其修订版本的精细对齐数据集；二是设计了一个新的损失函数，该函数能够利用细粒度质量信号来指导LLMs的学习历程，以实现更好的对齐。通过与多个现存要领的基线比力，我们的要领在大量实验中展示出了其有效性。

论文介绍

论文题目：VDT: General-purpose Video Diffusion Transformers via Mask Modeling

作者：卢浩宇，杨国兴，费楠益，霍宇琦，卢志武，罗平，丁明宇

通讯作者：卢志武，丁明宇

论文概述： 这项事情提出Video Diffusion Transformer （VDT），是首个基于Transformer的Video Diffusion模型。VDT由解耦的时空注意力模块组成， 继续了Transformer模型强大的时空表征能力。此外，该事情还提出了统一的时空掩码建模机制，与模型无缝集成，以适应多样的视频生成场景。

VDT提供了几个吸引人的优点。首先，它擅长捕捉时间依赖性，能够发生时间上一致的视频帧， 甚至模拟3D工具随时间的物理和动态特性。其次，它具备灵活的条件信息处置惩罚方式。在Token空间中的简朴拼接即可有效地统一无条件/条件生成任务。该事情在VDT的基础上进一步提出的时空掩码建模机制，使其成为一个通用的Video Diffusion模型，可以同时支持包罗无条件生成、视频预测、插值、动画制作和补全等多种任务。

VDT在差异的场景中进行了广泛的实验，包罗自动驾驶、自然天气、人类行为和基于物理的模拟等，这些实验展示了VDT的有效性。此外，该事情还提供了关于VDT捕捉准确时间依赖性、处置惩罚条件信息和时空掩码建模机制的全面研究。我们相信这将有助于未来的研究，并推动该领域的生长。

论文介绍

论文题目：UniAdapter: Unified Parameter-Efficient Transfer Learning for Cross-modal Modeling

作者：卢浩宇，霍宇琦，杨国兴，卢志武，Wei Zhan，Masayoshi Tomizuka, 丁明宇

通讯作者：卢志武，丁明宇

论文概述：大规模视觉-语言预训练模型在种种下游任务上显示出了强大的迁移性。随着这些基础模型的规模和下游任务的数量增长，尺度的完全微调范式由于巨大的盘算和存储成本使得传统Pretrain-finetune范式变得不行连续。本文提出了UniAdapter，它统一了单模态和多模态Adapter，用于在预训练的视觉-语言模型上进行参数高效的迁移学习。具体来说，Adapter被漫衍到差异的模态及其交互中，通过部门权重共享，从而淘汰训练参数。统一且共享知识的设计使得UniAdapter具备强大的跨模态表征能力，并适配于种种下游任务，同时仅需训练模型的1.0%-2.0%的可调参数。在7个跨模态下游基准测试（包罗视频-文本检索、图像-文本检索、VideoQA、VQA和Caption）上的广泛实验讲明，在大多数情况下，UniAdapter不仅优于最新的要领， 甚至凌驾了全微调参数设置。

论文介绍

论文题目：PolyGCL: GRAPH CONTRASTIVE LEARNING via Learnable Spectral Polynomial Filters（Spotlight）

作者：陈靖宇，雷润林，魏哲巍

通讯作者：魏哲巍

论文概述：最近，图对比学习（Graph Contrastive Learning，GCL）在自监视图体现学习方面取得了显著的优越性能。然而，现有的GCL技术由于其低通GNN编码器和基于同配性假设的目标而具有固有的平滑特性，这在将其应用于异配图时组成了挑战。在监视学习任务中，具有多项式迫近的谱域GNN通过自适应拟合任意形状的图滤波器在同配和异配设置下均体现精彩。然而，在自监视学习中，它们的应用很少被探讨。基于上述分析，一个自然的问题是：我们是否可以将谱域多项式滤波器的优良特性融入到图对比学习中？在本文中，我们通过从谱域角度研究引入高通信息以适应异配性的须要性来回覆这个问题。我们提出了PolyGCL，这是一个利用多项式滤波器实现低通和高通视图之间对比学习的GCL流程。具体而言，PolyGCL利用具有可学习滤波函数的多项式生成差异的谱视图，并通过线性组合将高通信息纳入目标中。我们在理论上证明了当应用于差异同配度的图时，PolyGCL优于先前的GCL范式。我们在合成和真实数据集上进行了大量实验，结果展示了PolyGCL在同配和异配图上的精彩性能。

论文介绍

论文题目：Reinforcement Symbolic Regression Machine

作者：徐一龙，刘扬，孙浩

通讯作者：孙浩

论文概述：从有限的数据中自动提炼出方程的历程称为符号回归。然而，这个问题仍然是迄今为止的一个巨大挑战，因为随着方程的庞洪水平增加，表达式的搜索空间也会指数级增加，尤其是当底层数学公式错综庞大时，目前的要领仍难以突破搜索难度的瓶颈。为此，我们提出了一种新要领，称为强化符号回归机（RSRM），它能从稀缺的数据中发现庞大的数学公式。RSRM 模型由三个要害模块组成：(1) 蒙特卡洛树搜索算法，探索由数学运算符和变量组成的最优数学表达树；(2) 双Q学习模块，通过正确理解奖励漫衍，资助缩小 MCTS 的可行搜索空间；(3) MSDB（递归式子树发现模块），逐步递进的简化表达式。通过多个基准数据集的验证，这些模块的结合使 RSRM 的性能明显优于几个具有代表性的基准模型。

论文介绍

论文题目：Quantifying and Enhancing Multi-modal Robustness with Modality Preference

作者：杨泽群，卫雅珂，梁策，胡迪

通讯作者：胡迪

论文概述：多模态模型能有效整合来自差异来源的信息，但同时也易受扰动影响。为了反抗这些扰动，获得远离决策界限的鲁棒多模态表征至关重要。基于多模态联合学习的范式，我们从理论上证明了增大单模态表征间隔及提高模态整合可靠性是提升多模态鲁棒性的要害因素。此外，我们的分析还揭示了模型对差异模态的偏好如何影响该要害因素，进而限制多模态鲁棒性，使得对特定模态的攻击更为有效。针对该问题，我们提出了一种名为“可验证鲁棒的多模态训练”(CRMT)的新要领。我们的要领旨在淘汰模态偏好的影响，并通过显式调治上述要害因素，以可验证的方式提升模型的鲁棒性。在实验中，我们的要领在性能和鲁棒性方面均优于现有要领。此外，我们的训练战略具有良好的灵活性，可以扩展应用于增强其他多模态鲁棒训练要领。

论文介绍

论文题目：The Blessing of Randomness: SDE Beats ODE in General Diffusion-based Image Editing

作者：聂燊，郭瀚中，路橙，周聿浩，郑晨宇，李崇轩

通讯作者：李崇轩

论文概述：我们提出了一个统一的概率框架，用于基于扩散模型的图像编辑要领，在该框架中，隐变量以特定于任务的方式进行编辑，而且通常偏离由原始随机或常微分方程（SDE或ODE）引导的相应边缘漫衍。相反，它为编辑界说了相应的SDE或ODE。在这个框架中，我们证明了两个SDE的边缘漫衍之间的KL散度随着时间趋近于零而逐渐减小，而ODE的散度保持稳定，这讲明了SDE在图像编辑中的潜力。受此启发，我们为种种任务中广泛使用的ODE基准提供了SDE对应项，包罗图像修复和图像翻译，其中SDE显示出一致且显著的革新。此外，我们提出了SDE-Drag——一种简朴但有效的基于SDE框架的图像点拖拽要领。我们构建了一个具有挑战性的基准（称为DragBench），其中包罗开放集的自然、艺术和AI生成的图像进行评估。在DragBench上的用户调研讲明，SDE-Drag显著优于我们的ODE基线、现有的基于扩散模型的要领，以及著名的DragGAN。我们的结果展示了SDE在图像编辑方面的优越性和多功效性，并推动了基于扩散的编辑要领的界限。

论文介绍

论文题目：BayesDiff: Estimating Pixel-wise Uncertainty in Diffusion via Bayesian Inference

作者：寇思麒，干磊，王德泉，李崇轩，邓志杰

通讯作者：李崇轩，邓志杰

论文概述：扩散模型在图像生成方面具有令人印象深刻的能力，但仍存在一些低质量的生成结果，而由于缺乏恰当的样本级怀抱尺度，识别这些低质量生成结果仍然是一个挑战。为此，我们提出了BayesDiff，这是一种基于贝叶斯推理的扩散模型生成图像的像素级不确定性预计器。特别地，我们推导出一种新颖的不确定性迭代原理，以刻画扩散历程中的不确定性动态，并利用最后一层的拉普拉斯近似实现高效的贝叶斯推理。预计的像素级不确定性不仅可以汇总为样本级怀抱，以筛选出低保真图像，而且另有助于生成乐成的图像并纠正文本到图像任务中失败生成的图像中的瑕疵。广泛的实验展示了BayesDiff的有效性及其在实际应用中的应用前景。

论文介绍

论文题目：Rigid Protein-Protein Docking via Equivariant Elliptic-Paraboloid Interface Prediction

作者：虞子扬，黄文炳，刘洋

通讯作者：黄文炳，刘洋

论文概述：刚性卵白质-卵白质对接的研究在药物设计和卵白质工程等多项任务中发挥着至关重要的作用。近年来提出的多种基于学习的对接要领速度明显快于传统要领。本文提出了一种名为ElliDock的新颖学习要领，该要领通过预测椭圆抛物面体现卵白质-卵白质对接界面。具体而言，模型划分预计两个输入卵白质的椭圆抛物面界面，并通过使两个界面重合来获得对接所需的旋转宁静移变换。ElliDock 具有对卵白质任意旋转、平移的等变性，这意味着很好的泛化能力。实验证明，ElliDock在所有比力要领中需要最短的推断时间，而且在抗体-抗原对接方面优于DiffDock-PP和Alphafold-Multimer等目前最先进的学习要领。

论文介绍

论文题目：Space Group Constrained Crystal Generation

作者：矫瑞，黄文炳，刘宇，赵德丽，刘洋

通讯作者：黄文炳，刘洋

论文概述：晶体是许多科学和工业应用的基础。尽管多种基于学习的晶体生成要领已经被提出，但现有要领忽略了空间群约束。空间群对于描述晶体的几何结构至关重要，而且与许多理想的性质密切相关。然而，由于因为其多样性和非平凡形式，考虑空间群约束是一项具有挑战性的任务。在本文中，我们将空间群约束简化为一个等效的公式，该公式更易于手工处置惩罚并纳入到生成历程中。具体而言，我们将空间群约束转化为两种情况：晶格矩阵在稳定指数空间中的约束和原子分数坐标Wyckoff位置约束。在上述约束条件下，我们提出了一种新颖的扩散模型DiffCSP++，通过进一步考虑空间群约束，增强了先前的事情DiffCSP（这个事情也是我们提出）。在几个常见数据集上的实验证明了引入空间群约束的利益，并讲明DiffCSP++在晶体结构预测和重新开始晶体生成方面取得了最佳或相当的性能。

论文介绍

论文题目：Towards Codable Text Watermarking for Large Language Models

作者：王乐安*，杨文恺*，陈德里*，周昊，林衍凯，孟凡东，周杰，孙栩

通讯作者：林衍凯，孙栩

论文概述：近来，随着以 ChatGPT 为代表的大语言模型展现出越来越强的生成能力和应用潜力，人们对于大模型技术对人类社会秩序和宁静的威胁的担忧也越来越强。文本水印技术可以资助人们判定和识别AI生成的文本，这可以有效防止AI生成文本被滥用或者恶意使用。但是，我们指出当前的文本水印技术只能编码1比特的信息到文本中（即该文本是否由某一特定模型生成），这无法适用于越发庞大多变的实际场景。所以，我们首次提出了可编码文本水印的看法，旨在将更多比特的定制化信息（例如编码厂商，模型版本，文本生成时间，UserID（不袒露用户真实隐私前提下）等等）编码进文本携带的水印中，以此实现更精细的AI文本识别和溯源。基于此，我们首先提出了一套权衡可编码文本水印算法效率的评价体系。此外，为了缓解当前水印算法在每一步生成时随机划分词表而大幅降低生成文本质量的缺陷，我们提出了一种新的基于小型署理模型预测的等概率词表划分要领。实验证明我们的革新要领在植入相同比特信息水印的设定下，实现了更高的水印植入乐成率、更高的生成文本质量，以及具有更好的抗文本修改鲁棒性。

论文介绍

论文题目：ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs

作者：秦禹嘉，梁世豪，叶奕宁，朱昆仑，严澜，卢雅西，林衍凯，从鑫，唐相如，钱比尔，赵思涵，弘劳拉，田润初，谢若冰，周杰，马克*杰斯顿，李大海，刘知远，孙茂松

通讯作者：林衍凯，刘知远，孙茂松

论文概述：尽管开源的大型语言模型（LLM），例如LLaMA，已经取得了进步，但它们在使用外部工具（API）来完成人类指令的能力方面仍然有待增强。这是因为当前的指令微调技术主要关注基本语言任务，而忽视了工具使用能力。这与最先进的闭源LLM（例如ChatGPT）的精彩工具使用能力形成了鲜明对比。为了弥补这一差距，我们提出了ToolLLM，一个通用的工具使用框架，包罗数据构建、模型训练和评估。我们提出了ToolBench，这是一个针对工具使用的指令调优数据集。此外，为了评估LLM的工具使用能力，我们开发了一个自动评估器：ToolEval。基于ToolBench，我们对LLaMA进行了微调，获得了一个ToolLLaMA，并为其配备了一个神经API检索器，以推荐每个指令的合适API。实验讲明，ToolLLaMA展现出了执行庞大指令的显著能力，并能泛化到未见过的API，其体现与ChatGPT相当。我们的ToolLLaMA还在APIBench中展示了强大的零样本泛化能力。

论文介绍

论文题目：Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages

作者：胡锦毅，姚远，王崇屹，王珊，潘寅旭，陈乾瑜，余天予，吴航昊，赵越，张皓烨，韩旭，林衍凯，薛娇，李大海，刘知远，孙茂松

论文概述：最近，多模态大模型获得了快速生长，但这些模型主要都面向英文，其他非英文语言的多模态能力显著落后，一个主要原因是缺少相应的非英文语言的高质量图文数据。在这项事情中，我们提出了一种针对非英文多模态大模型的有效训练范式MPM。MPM证明了基于多语言大模型进行多模态对齐训练，可以实现多模态能力的高效跨语言泛化。在文生图和图生文的任务上，通过纯英文图文数据训练，可以零样本迁移到其他语言上，甚至好于基于当舆图文数据训练的模型。基于MPM，我们构建了中英文多模态大模型VisCPM，在中文图像到文本和文本到图像生成任务上取得了良好效果，相关模型开源于https://github.com/OpenBMB/VisCPM。

论文介绍

论文题目：Predicting Emergent Abilities with Infinite Resolution Evaluation

作者：胡声鼎，刘鑫，韩旭，张新荣，贺超群，赵威霖，林衍凯，丁宁，欧泽彬，曾国洋，刘知远，孙茂松

论文概述：对大语言模型进行规模扩展需要全面了解它们的规模化特性。然而，现有事情对规模化特性的研究仅针对预逊ю失，任务性能的规模化定律还没有进行探索。任务性能通常在小模型上不太明显，直到模型参数量凌驾一定规模后才会显著提升，这体现了大模型“能力涌现”的特点。在本事情中，我们发现，尽管小模型展现性能较差，它们随着参数量增长存在一致的任务性能提升，但由于任务评价分辨率不足，未能被传统评估要领捕捉。我们引入了PassUntil，一种理论上具有无限分辨率的评预战略，可以通过在解码阶段的大规模抽样实现，并基于PassUntil对任务性能的规模化定律进行了研究。