菠菜平台-十大菠菜平台

学院新闻

近日，菠菜平台高瓴人工智能学院师生有13篇论文（11篇长文、1篇资源论文、1篇漫笔）被国际学术聚会会议ACM CIKM（2022）录用。第31届国际盘算机学会信息与知识治理大会（The 31th ACM International Conference on Information and Knowledge Management, CIKM 2022）将于今年10月17日-10月21日在线召开。CIKM是CCF推荐的B类国际学术聚会会议，在信息检索和数据挖掘领域享有较高的学术声誉。

论文介绍

论文题目：Dually Enhanced Propensity Score Estimation in Sequential Recommendation（长文）

作者：徐晨，徐君，陈旭，董振华，文继荣

通讯作者：徐君

论文概述：序列推荐系统基于大量隐式用户反馈数据训练其模型，而且当某些物品系统性地被曝光在用户面前时，用户行为可能会受到这些偏差的影响。本文提出了基于逆倾向性得分（IPS）的无偏学习来解决这个问题。IPS要领的要害是在给定历史信息的情况下准确预计曝光的用户物品对的概率。在这些要领中，倾向得分预计通常仅限于从物品的角度来预计，即将反馈数据视为与用户交互的物品序列。然而，IPS的预计也可以从用户的角度将反馈数据视为与物品交互的用户序列。我们发现，这两种看法可以联合增强顺序推荐中的倾向得分预计。受视察结果的启发，我们建议从用户和物品的两个角度预计倾向得分，称为对偶增强倾向得分预计（Dually Enhanced Propensity Score Estimation，简写为DEPS）。具体而言，给定目标用户物品对以及相应的物品和用户交互序列，DEPS首先构建序列因果图来体现用户物品对的视察概率。凭据该图，基于同一组用户反馈数据，划分从物品和用户的角度预计两个互补的倾向性得分。最后，设计两个transformer，利用这两个倾向性得分进行最终的偏好预测。理论分析了DEPS的无偏性和方差。在三个果真的基准和一个专有的工业数据集上的广泛实验结果讲明，DEPS可以显著优于最先进的基线。实证分析还讲明，DEPS可以用作于任何序列推荐模型的去偏框架，在该框架下，其他序列推荐模型的性能也可以获得进一步提升。

论文介绍

论文题目：Enhancing User Behavior Sequence Modeling by Generative Tasks for Session Search（长文）

作者：陈浩楠，窦志成，朱余韬，曹朝，程小华，文继荣

通讯作者：窦志成

论文概述：用户的搜索任务变得越来越庞大，往往需要提出多个查询语句并与搜索结果多次交互。最近的研究讲明，对会话中的历史用户行为进行建模可以资助理解当前的搜索意图。现有的会话级别搜索排序模型主要对当前会话序列（从第一个行为到当前查询）进行编码，并使用高维体现来盘算排序分数。但是，当前会话序列中通常存在一些噪声（对于推断搜索意图无用的行为），可能会影响编码体现的质量。为了资助编码当前用户行为序列，我们提出使用解码器以及未来序列的信息和增补查询的信息。具体来说，我们设计了三个可以资助编码器推断实际搜索意图的生成任务：（1）预测未来的查询语句，（2）预测未来的点击文档，以及（3）预测增补查询语句。我们使用编码器-解码器结构的要领，使用多任务学习的方式学习这些生成任务以及排序任务。在两个公共搜索日志上的大量实验讲明，我们的模型优于所有现有的基线模型，而且设计的生成任务实际上可以资助排序任务。此外，特别的实验还讲明，我们的要领可以很容易地应用于种种基于 Transformer 的编码器-解码器模型并提高它们的性能。

论文介绍

论文题目：From Easy to Hard: A Dual Curriculum Learning Framework for Context-Aware Document Ranking（长文）

作者：朱余韬，聂建云，苏熠暄，陈浩楠，张鑫宇，窦志成

通讯作者：窦志成

论文概述：在会话搜索中，上下文信息对于捕捉用户的查询意图是很是重要的。现有的事情已经实验了种种要领对用户的查询行为序列进行建模，从而提高文档排序的效果。在这些模型的训练历程中，样本（即“查询上下文-文档“对）通常是凭据随机采样的顺序进行学习的。而实际上，理解差异样本的查询意图或判断相应的文档相关性有着差异的难度。简朴地将差异难度的样本混淆在一起并随机采样的方式显然会对模型的学习发生滋扰。在本事情中，我们提出了一种课程学习的框架，其中模型可以凭据从易到难的方式学习查询上下文和文档之间的匹配关系。具体来说，我们针对正负样天职别设计了一个课程来控制其学习难度。对于正样本，模型在早期训练时只能使用简朴样本进行学习，而随着训练的进行，更难的样本也加入学习之中；对于负样本，我们则在早期允许所有样本加入学习，并在之后逐渐将简朴样本抛弃。在两个真实的查询日志数据集上，我们的框架能够显著提高多种已有模型。这一结果验证了课程学习对于上下文感知的文档排序任务的有效性。

论文介绍

论文题目：A Relevant and Diverse Retrieval-enhanced Data Augmentation Framework for Sequential Recommendation（长文）

作者：卞书青，赵鑫，王锦鹏，文继荣

通讯作者：赵鑫

论文概述：在线平台中，学习序列用户行为语义信息对于准确预测用户兴趣至关重要。近年来，基于深度学习的序列推荐要领已广泛提出。然而，现实中由于数据的稀疏性，尤其是在冷启动场景中，现有的神经序列推荐模型在实践中可能体现不佳。为了解决这个问题，我们提出了模型 ReDA（Retrieval-enhanced Data Augmentation），基于检索增强的数据增强建模顺序用户行为。我们要领的主要思想是利用来自相似用户的相关信息来生成语义相关和多样化的序列体现。首先，我们训练一个基于神经网络检索器凭据用户体现之间的语义相似性来检索增广用户，然后进行两类基于体现层的数据增强以生成增强的用户体现。此外，这些获得的增强数据被纳入到对比学习框架中。在果真和行业数据集上进行的大量实验证明了我们提出的要领优于现有的基线要领。

论文介绍

论文题目：Temporal Contrastive Pre-Training for Sequential Recommendation（长文）

作者：田长鑫，林子涵，卞书青，王锦鹏，赵鑫

通讯作者：赵鑫

论文概述：最近，基于预训练的推荐算法提出利用自监视信号来提高顺序推荐的性能。然而，大多数现有的预训练推荐系统只是简朴地将用户的历史行为建模为一个序列，而没有充实考虑用户行为的时间模式。为了更好地建模用户行为的时间特征，我们针对序列推荐提出了对比的时间预训练要领(简称TCPSRec)。凭据交互的时间信息，我们考虑将交互序列划分为更连贯的子序列，并基于此设计预训练目标。具体而言，TCPSRec对用户行为的稳定性和周期性进行了建模。对于稳定性，我们考虑序列内的全局稳定性和序列内的局部稳定性，划分捕捉恒久偏好和短期意图。对于周期性TCPSRec在行为子序列级别对粗粒度周期和细粒度周期进行了建模。为此，我们设计了四个预训练目标，以有效地融适时间信息与项目体现。我们在美团真实数据集和五个公共数据集上的实验证明了我们预训练要领的有效性。

论文介绍

论文题目：Multimodal Meta-Learning for Cold-Start Sequential Recommendation（长文）

作者：潘星宇，陈昱硕，田长鑫，林子涵，王锦鹏，胡鹤，赵鑫

通讯作者：赵鑫，胡鹤

论文概述：在现实的推荐场景中，每天都有大量的新用户涌入，如何基于新用户极短的交互历史数据进行推荐是一个值得研究的问题，本文主要研究了在序列化推荐场景下用户冷启动的问题。我们将冷启动用户的推荐任务视为一个小样本学习任务，并引入元学习的思想，从已有的老用户数据中进行知识迁移，服务于新用户的推荐。这个知识迁移历程中的主要障碍是新老用户交互序列之间存在的特征差异，为此，我们提出了一种多模态元学习框架（Multimodal Meta-Learning，MML），通过引入电商外卖场景下富厚的多模态信息来缓解交互序列之间的差异，提升序列化推荐模型对冷启动用户的建模能力。我们在美团App菠菜平台推荐场景下进行了离线实验和线上AB test来验证模型效果。

论文介绍

论文标题：MGMAE: Molecular Representation Learning by Reconstructing Heterogeneous Graphs with A High Mask Ratio（长文）

作者：冯晋嘉，王桢，李雅亮，丁博麟，魏哲巍，许洪腾

通讯作者：魏哲巍

论文概述：Masked autoencoder（MAE）作为一种在盘算机视觉和自然语言处置惩罚领域卓有成效的自监视学习模型，最近开始被应用于分子图表征学习。在本文中，我们将MAE应用于基于分子图的预训练Transformer模型中，致力于解决现有分子图预训练事情中忽略的两个问题。（1） 在模型中只有原子被抽象为图节点进行重建重建，化学键在推理历程中不作为图节点进行预测，使得模型无法区分相同原子的差异排列的分子。（2） 高比例的mask已经在盘算机视觉领域已被证明是有益的，而且能够完成具有挑战性的重建任务。但由于分子图数据中的信息冗余较少，因此已有事情未能将这一要领在分子图上有效利用。为了解决这些问题，我们提出了一种新的框架，Molecular Graph Mask AutoEncoder（MGMAE）。首先，我们将每个分子图转换为原子-化学键异构图，使得重建任务中包罗化学键属性，并设计此类图的单向位置编码。其次，我们提出了一种混淆mask机制，以充实利用原子属性和空间特征之间的互补性。同时，我们通过利用图上拓扑邻居之间的相关性使用动态聚合的方式赔偿mask embedding。因此，MGMAE可以以高比例mask原子、化学键和原子间的相对距离并让模型在重建任务中学习到分子图的潜在体现。在多个分子图果真数据集上的实验讲明，我们的要领在大部门数据集上逾越了目前所有的基线模型，展示了MGMAE在分子图性质预测任务中的竞争力。此外，特别的消融实验也证明了我们的要领中差异模块的有效性。

论文介绍

论文题目：Personalized Query Suggestion with Searching Dynamic Flow for Online Recruitment（长文）

作者：周子乐*，周骁*，李明哲，宋洋，张涛，严睿

通讯作者：严睿

论文概述：在这个信息指数增长的时代，使用查询建议技术来资助用户在在线搜索历程中清楚地表达他们的需求，对搜索引擎来说已经变得越来越重要。一个查询建议系统的乐成在于准确地理解和建模每个查询背后的用户搜索意图，这离不开利用动态的用户反馈行为和富厚的上下文信息进行个性化查询建议。然而，这一有价值的领域在很洪流平上仍未被当前的查询建议系统所开发。在本研究中，我们提出了动态搜索流模型(DSFM)，这是一个查询建议框架，能够利用动态流机制在招聘场景中逐步建模和细化用户搜索意图。这里引入了局部流和全局流的看法，划分用于捕捉用户的实时意图和会话的整体影响。通过利用简历和职位要求中包罗的富厚语义信息，DSFM实现了查询建议的个性化。此外，在训练历程中引入了加权对比学习，发生更广泛的有针对性的查询样本，并部门减轻袒露偏差。注意机制的接纳使得选择最相关的信息组成最终的意向表征成为可能。在差异类此外真实数据集上的大量实验结果证明了我们提出的要领在在线招聘平台查询建议任务中的有效性。

论文介绍

论文题目：Gromov-Wasserstein Multi-modal Alignment and Clustering （长文）

作者：巩凤娇，聂宇舟，许洪腾

通讯作者：许洪腾

论文概述：多模态聚类的目的是以无监视的方式找到差异模态的数据所共享的聚类结构。目前，解决这个问题通常依赖于两个假设。1）多模态数据拥有相同的潜在漫衍，2）视察到的多模态数据排列对齐，没有任何模态缺失，但在实际中这两个假设很难同时获得保证，从而导致许多聚类要领不行行。在本事情中，我们开发了一种新的多模态聚类要领，它是基于最优传输距离的Gromovization，放宽了对上述两个假设的依赖。具体来说，对于相互对应关系未知的多模态数据，我们的要领是学习其kernel矩阵的Gromov-Wasserstein（GW）barycenter。在模块最大化原则的驱动下，GW barycenter有助于探索差异模态所共有的聚类结构，它与差异模态到差异聚类之间的GW距离有关，最优传输方案有助于实现多模态数据的联合对齐和聚类。实验结果讲明，我们的要领在数据（部门）差池齐的情况下优于目前的多模态聚类要领。

论文介绍

论文题目：Sharper Utility Bounds for Differentially Private Models: Smooth and Non-smooth（长文）

作者：康艺霖，刘勇，李健，王伟平

通讯作者：刘勇

论文概述：本文通过引入伯恩斯坦条件，对基于梯度扰动的差分隐私算法的超额风险进行分析，在假设损失函数满足Lipschitz连续性、平滑性和Polyak-?ojasiewicz条件时获得了首个O(p^(0.5)/(nε))的高概率超额总体风险界。此外，如果利用α-H?lder平滑性（适用于部门非平滑损失函数）对Lipschitz连续性宁静滑性进行放松，上述风险界将退化为与O(n^(-α/(1+2α)))同阶。针对这个问题，本文利用归一化要领提出了梯度扰动差分隐私算法的一个变种，m-NGP。利用该算法，当损失函数满足α-H?lder平滑性和Polyak-?ojasiewicz条件时，差分隐私模型的高概率超额总体风险界到达了O(p^(0.5)/(nε))，与假设放松前的结果相一致。此外，实验结果讲明，相较于传统梯度扰动算法，m-NGP对模型性能和收敛速度均有提升。

论文介绍

论文题目：Evaluating Interpolation and Extrapolation Performance of Neural Retrieval Models（长文）

作者：詹靖涛，谢晓晖，毛佳昕，刘奕群，郭嘉丰，张敏，马少平

论文概述：在传统的评价框架下，神经网络排序模型会先进行训练，然后在测试集上进行评测并获取一个平均排序性能（例如NDCG）；这个平均分数的崎岖决定了差异神经网络排序模型的优劣。然而，单独考虑平均性能忽视了模型在面对差异输入时的体现，例如，有的模型擅长“影象”训练集从而在相似的输入上体现较好，有的模型擅长“抓住本质”并较好地泛化到与训练集不相似的输入上。这两方面的能力无法在单一的平均排序性能中体现。因此，我们提出要离开评测模型在面对与训练集相似和不相似输入时的体现，并把这两种性能称为“内插（interpolation）”和“外推（extrapolation）”。为了在现有数据集上评价这两方面的能力，我们提出了一种简朴有效的基于相似度的数据集采样要领，并使用这个采样要领重新回首了目前流行的神经网络排序模型。实验结果讲明：差异模型在内插和外推方面体现差异很大，同时模型的相对优劣顺序在内插和外推上是差异的。因此，划分评测模型的内插和外推性能是很是有须要的。我们的事情为IR的排序研究提供了特别的评测工具，同时所提出的内插和外推看法可以引发更多的相关评价要领和更鲁棒的排序模型。

图：两种基于数据集重采样的内插/外推评价要领

论文介绍

论文题目：RecBole 2.0: Towards a More Up-to-Date Recommendation Library（Resource资源论文）

作者：赵鑫，侯宇蓬*，潘星宇*，杨晨，张泽宇，林子涵，张景森，卞书青，唐嘉凯，孙文奇，陈昱硕，徐澜玲，张高玮，田长鑫，牟善磊，范欣妍，陈旭，文继荣

通讯作者：陈旭

论文概述：为了更好地支持推荐辖档挽域的前沿研究，基于RecBole, 本文提出了一个全新的推荐算法库（RecBole2.0）。它由八个差异主题和架构的子包组成。首先，从数据角度出发，我们考虑了与数据问题相关的三个重要主题（即数据稀疏性、数据偏差和数据漫衍差异），并相应开发了五个包：元学习、数据增强、去偏、推荐公正性和跨域推荐。其次，从模型的角度出发，我们划分为基于transformer和GNN的模型开发了两个子包。RecBole2.0继续了初代的特点，集数据加载，模型训练，模型评测，超参搜索等功效于一体，极大的便捷了用户的使用，满足研究者的科研需要。目前项目已经在GitHub平台开源（https://github.com/RUCAIBox/RecBole2.0）。

论文介绍

论文题目：GReS: Graphical Cross-domain Recommendation for Supply Chain Platform（漫笔）

作者：荆智文，赵梓良，冯阳，马晓晨，吴楠，康生巧，张屿佳，杨成，郭浩

论文概述：供应链平台为下游行业提供大量原质料。与传统电子商务平台相比，由于有限的用户兴趣，供应链平台中的数据越发稀疏。为了解决数据稀疏性问题，可以应用跨域推荐，以通过源域提高目标域的推荐性能。然而，将跨域推荐应用于供应链平台直接忽略了供应链平台中商品的条理结构，从而降低了推荐性能。为了利用这一特性，本文以餐饮平台为例，提出了一种基于图的跨域推荐模型GReS。该模型首先结构树形结构的图来体现菜肴和配料的差异节点的条理结构，然后应用我们提出的融合了图卷积网络和预训练语言模型的Tree2vec要领将该图嵌入到向量空间中以进行推荐，该要领能够同时编码商品的结构信息和语义信息。在商业数据集上的实验结果讲明，在供应链平台的跨域推荐方面，GReS显著优于其他基线要领。