菠菜平台-十大菠菜平台

学院新闻

近日，菠菜平台高瓴人工智能学院6篇师生论文被国际顶级学术聚会会议ACL录用。ACL是盘算语言学和自然语言处置惩罚领域最重要的顶级国际聚会会议，是中国盘算机学会（CCF）推荐的A类国际学术聚会会议。ACL 2021将于8月1日至6日在泰国曼谷举办。

截至目前，2021年高瓴人工智能学院已发表或被录用CCF A类国际期刊或和聚会会议论文43篇、CCF B类期刊和论文5篇；以人大师生为第一作者或通讯作者发表的论文数量为46篇。

论文介绍（ACL Main Conference）

论文题目：Enabling Lightweight Fine-tuning for Pre-trained Language Model Compression based on Matrix Product Operators

作者：刘沛羽，高泽峰，赵鑫，谢志远，卢仲毅，文继荣

通讯作者：赵鑫，卢仲毅

论文概述：基于量子多体物理问题中的矩阵乘积算符（MPO）体现要领，本文提出了一种新颖的预训练语言模型压缩要领。其中，MPO体现可以将权重矩阵体现为中间张量（包罗主要信息）和辅助张量（包罗少少参数量）的乘积形式。基于此，我们借助矩阵的MPO体现形式，提出了一种新颖的微调战略，即只需要更新包罗少少参数的辅助张量就能实现对整体权重矩阵的更新。同时，我们也设计了一种新的优化要领来训练MPO表式下的多层网络结构。除此之外，本文提出的要领具有通用性，岂论是原始的模型照旧已经压缩过的模型上，均可以极洪流平地降低需要微调的参数量。在本文实验中也说明了该要领在模型压缩上的有效性，最终可以淘汰平均93%的待微调参数量。

论文介绍 （ACL Main Conference）

论文题目：A Joint Model for Dropped Pronoun Recovery and Conversational Discourse Parsing in Chinese Conversational Speech

作者： 杨婧璇, 许珂瑞, 徐君, 李思, 高升, 郭军, 薛念文，文继荣

通讯作者：徐君

论文概述：在中文自然语言对话中，对话语篇分析和代词补全是相互关联的两个任务：语篇分析可以资助对话模型更好地理解对话片段语意信息，更准确地找出代词所指；补全被省略的代词则可以使得对话中文本信息越发完整，能够更准确地预测任意两句话间的语篇关系。本论文提出一个可以同时解决上述两个任务的联合训练模型，通过参数共享和目标函数的联合优化实现了两个任务的知识共享。实验结果讲明，此联合优化方式可使两个任务相互促进，同时提升代词补全和对话语篇分析的精度，为对话相关的下游任务提供精确的语义信息编码。

论文介绍（ACL Main Conference）

论文题目：A Pre-training Strategy for Zero-Resource Response Selection in Knowledge-Grounded Conversations

作者：陶重阳，陈畅与，冯家展，文继荣，严睿

通讯作者：严睿

论文概述：近年来，许多关于检索式对话系统的研究正关注于如何在与人类攀谈时有效地利用配景知识（例如文档等）。然而，收集大规模基于特定配景文档进行对话的数据集并不容易，这阻碍了我们对系统中知识选择模块和回复选择模块进行有效充实的训练。为了克服这一挑战，我们将基于知识进行回复选择的训练剖析为三个任务：1）查询与文档的匹配；2）问题与对话历史的匹配；3）多轮对话的回复匹配，并在统一的预训练语言模型中对所有这些任务进行联合的学习。前两个任务可以资助模型进行知识选择和理解，而最后一个任务可以让模型在给定查询和配景知识（对话历史）后，选择合适的回复。通过这种要领，模型可以借助ad-hoc检索数据和大量的自然的多轮对话数据，学习如何选择相关的知识和适当的回复。我们在基于知识进行对话的两个Benchmark上进行了实验，结果讲明，与现有的几种基于众包数据的训练要领相比，该模型能够取得相当的效果提升。

论文介绍（ACL Findings）

论文题目：Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models

作者：李军毅，唐天一，赵鑫，魏志成，袁晶，文继荣

通讯作者：赵鑫

论文概述：本文研究如何自动生成描述知识图谱（KG）中事实的自然语言文本。借助预训练语言模型（PLMs）在语言理解和生成方面的能力，我们主要考虑少样本场景。我们提出了三个主要的技术孝敬，即用于弥合KG编码和PLM之间语义差距的体现对齐，用于生成更好的输入体现的基于关系的KG线性化战略，以及用于学习KG和文本之间对应关系的多任务学习。在三个基准数据集上进行的大量实验证明了我们的模型在KG到文本生成任务上的有效性。特别是，我们的模型可以实现在只有几百个标志样本的情况下取得很是好的效果。

论文介绍（ACL Findings）

论文题目：Leveraging Passage-Centric Similarity Relation for Improving Dense Passage Retrieval

作者：任瑞阳，吕尚文，曲瑛琪，刘璟，赵鑫，佘俏俏，吴华，王海峰，文继荣

通讯作者：刘璟，赵鑫

论文概述：近年来，dense passage retrieval已经成为多种NLP任务中召回相关信息的主流要领，双塔式检索模型是该要领广泛接纳的模型结构。现有要领在训练中主要考虑了query和段落之间的相似度关系，我们提出在双塔式检索模型训练时，同时考虑query和段落间、正负例段落间的相似度关系，来捕捉到更庞大的相似度关系。另外，我们提出了一个高效的两阶段训练历程，同时利用知识蒸馏的要领，结构了高质量的伪标签数据，保证了训练的效果。我们在MSMARCO和Natural Questions两个果真数据集上进行了大量实验，证明了要领的有效性，并验证了学习到的相似度关系。

论文介绍（ACL Findings）

论文题目：Enhancing the Open-Domain Dialogue Evaluation in Latent Space

作者：产张明，刘乐茂，李俊涛，张海松，赵东岩，史树明，严睿

通讯作者：严睿

论文概述：开放域对话中“one-to-many”特性导致了其自动评估要领的设计成为一个巨大的挑战。最近的研究试图通过直接考虑生成的回复与对话上下文的匹配度来解决该问题，并利用判别模型从多个正样本中学习。尽管这类要领取得了令人兴奋的进展，但它们无法应用于没有多个合理回复的训练数据——而这正是真实世界数据集的一般情况。为此，我们提出通过隐空间建模增强的对话评估指标——EMS。具体来说，我们利用自监视学习来获得一个平滑的隐空间，该空间既可提取对话的上下文信息，也可以对该上下文可能的合理回复进行建模。然后我们利用隐空间中捕捉的信息对对话评测历程进行增强。在两个真实世界对话数据集上的实验结果证明了我们要领的优越性，其中与人类判断相关的Pearson和Spearman相关性分数均胜过所有基线模型。