2月24日，国际学术聚会会议ACL 2022论文接收结果宣布，菠菜平台高瓴人工智能学院师生有6篇论文被录用。国际盘算语言学年会（Annual Meeting of the Association for Computational Linguistics，简称ACL）是自然语言处置惩罚领域顶级学术聚会会议，在世界规模内每年召开一次，2022年是第60届聚会会议，将于5月22-27日在爱尔兰首都都柏林以线上线下混淆形式举行。

论文介绍

论文题目：MISC: A Mixed Strategy-Aware Model integrating COMET for Emotional Support Conversation

作者：涂权，李嫣然，崔建伟，王斌，文继荣，严睿

通讯作者：严睿

论文概述：将现有要领应用于情感支持对话（为求助者提供有价值的资助）有两个主要限制：（a）他们通常使用对话级此外粗粒度情感标签，无法捕捉到用户的即时心理状态； (b) 大部门研究者只注意在回复中表达共情，而不是考虑使用对话战略来逐渐降低用户的精神压力。为了解决这些问题，我们提出了一种新颖的模型MISC(Mixed Strategy-Aware Model integrating COMET)，它首先基于COMET来捕捉用户的细粒度心理状态，然后结合混淆战略生成回复。基准数据集上的实验结果证明了我们要领的有效性，并揭示了细粒度情感理解和混淆战略建模的利益。

论文介绍

论文题目：Finding the Dominant Winning Ticket in Pre-Trained Language Models

作者：龚卓成，贺笛，Yelong Shen，刘铁岩，Weizhu Chen，赵东岩，文继荣，严睿

通讯作者：严睿，赵东岩

论文概述：预训练模型是机械学习和自然语言处置惩罚中的一个重要偏向。虽然预训练要领 在众多自然语言处置惩罚任务上性能突出，但其参数量也远远超出了传统模型。我们认为，在针对任务的微调阶段，对预训练模型进行全参数更新是不须要的。通过实验我们发现，在预训练模型内部存在一个极小的结构化的子网络，只需要更新这个子网络的参数，就能取得和全参数更新一样的性能体现，而且这个子网络很洪流平上在差异的下游任务之间共享。

论文介绍

论文题目：Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation

作者：李明哲，林谢雄，陈秀颖，昌晋雄，张祺深，王峰，王太峰，刘忠义，褚崴，赵东岩，严睿

通讯作者：赵东岩，严睿

论文概述：对比学习在生成任务中取得了令人瞩目的乐成，它能够缓解“曝光偏差”问题并有区别地利用差异质量的参考。现有的事情大多偏重于实例级此外对比学习，不区分每个单词的孝敬。而要害字作为文本的要点，它能够主导这种受到一定限制的映射关系。因此，我们提出了一种分层对比学习要领，可以统一输入文本中的混淆粒度的语义。具体来说，我们首先通过正负对的对比关系构建要害字图结构，并迭代地完善要害字体现。然后，我们在实例级别和要害字级别上划分构建内部对比。最后，为了弥补各个独立对比级别之间的差距并解决常见的对比消失的问题，我们提出了一种层间对比机制，该机制能够权衡正负要害字节点与实例漫衍之间的差异。实验讲明，我们的模型在改写、对话生成和故事生成任务方面优于基线模型。

论文介绍

论文题目：ProphetChat: Enhancing Dialogue Generation with Simulation of Future Conversation

作者：刘畅，谭旭，陶重阳，付振新，赵东岩，刘铁岩，严睿

通讯作者：赵东岩，严睿

论文概述：经典的生成式对话模型利用对话历史信息来生成回复。然而，由于一句对话通常可以由多个差异的候选回复恰当地回覆，因此仅基于对话历史信息生成合适的回复并不容易。从直觉上看，如果聊天机械人能够提前“预见”用户在收到回复后将要谈论的内容（即对话未来），并将其作为特别信息辅助生成回复，那么它可能可以生成一个更富厚充实的回复。为此，我们提出了一个名为 ProphetChat 的新型对话生成框架，该框架通过在生成阶段模拟对话未来从而增强回复生成的能力。为了使聊天机械人能够预见对话未来，我们基于一个经典的对话生成模型和一个对话选择模型设计了一个类似于集束搜索的对话模拟战略来模拟可能的对话未来。然后，我们同时利用对话历史信息和模拟出的对话未来信息配合生成越发富厚充实的回复。在两个常用的的开放域对话数据集上的实验讲明，ProphetChat 相比强力的基线模型可以生成更好的回复，这充实证明了我们的要领的有效性。

论文介绍

论文题目：Continual Pre-training of Language Models for Math Problem Understanding with Syntax-Aware Memory Network

作者：龚政*，周昆*，赵鑫，沙晶，王士进，文继荣

通讯作者：赵鑫

论文概述：预训练语言模型（PLM）当前在各个自然语言理解任务上都取得了卓越的性能。本文主要关注于如何提升PLM对数学问题文本的理解能力。相比于通例文本，数学问题中包罗了文本描述和数学公式两部门，这两部门含有天然的语义差距，但包罗的信息都对相互至关重要。本文设计了一种Syntax-Aware的结构来资助模型建模公式中包罗的结构信息以及和文本描述之间的关联。本文进一步设计了合适的预训练任务来资助模型学习以及融合文本描述和数学公式的语义。

论文介绍

论文题目：Debiased Contrastive Learning of Unsupervised Sentence Representations

作者：周昆，张北辰，赵鑫，文继荣

通讯作者：赵鑫

论文概述：对比学习近年来被广泛用于对预训练模型进行微调以获得高质量的句子体现，其通过对齐语义相似的正例的体现并同时推远语义无关的负例的体现以优化所有句子体现的语义空间。然而已有的事情往往利用随机采样的要领获取负例，这就可能受部门有偏的负例影响，如“假负例”和“各向异性体现”等。为解决该问题，本文提出了一种去偏的对比学习框架，其不仅处罚了可能的假负例，且生成基于噪声的负例来进一步缓解体现各向异性带来的影响。我们的要领可以应用于BERT/RoBERTa-base/large上，并在7个语义相似度任务上均带来了提升。