菠菜平台-十大菠菜平台

学院新闻

6月30日，中国盘算机学会（CCF）推荐的A类国际学术聚会会议ACM Multimedia 2022论文接收结果宣布。菠菜平台高瓴人工智能学院师生有2篇论文被录用。国际多媒体学术聚会会议（ACM International Conference on Multimedia，简称ACM MM）由国际盘算机协会（ACM）提倡，是多媒体处置惩罚、分析与盘算领域具有影响力的国际聚会会议。ACM MM 2022 共收到 2473 份论文投稿，接收 690 篇，录用率为 27.9%。

论文介绍

论文题目：Multi-Modal Experience Inspired AI Creation

作者：曹乾，陈旭，宋睿华，蒋昊，杨光，曹朝

通讯作者：宋睿华

论文概述：人工智能创作，如诗歌或歌词生成，越来越受到工业界和学术界的关注，在已往几年中提出了许多有前景的模型。现有要领通常基于单一且独立的视觉或文本信息来发生输出。然而，在现实中，人类通常凭据自己的体验进行创作，这些创作可能涉及差异的模态，而且和体验发生的顺序是相关的。为了对这种人类能力进行建模，在本文中，我们界说并解决了一个基于人类体验的新的人工智能创作问题。更具体地说，我们研究如何基于有顺序的多模态信息来生成文本。与之前的事情相比，这项任务要困难得多，因为设计的模型必须很好地理解和适应差异模态之间的语义，并以顺序的方式有效地将它们转换为输出。为了解决这些困难，我们首先设计了一个具备多模态注意力网络的多通道序列到序列架构。我们提出了一种针对顺序输入设计的负采样课程学习的战略来对此进行更有效的优化。为了对这个问题进行基准测试并证明我们模型的有效性，我们人工标注了一个新的多模态体验数据集。在该数据集上，我们进行了广泛的实验来将我们的模型与一系列代表性的基线模型进行对比。结果显示我们的模型在自动和人工指标上都获得了显著的革新。（此论文为菠菜平台与华为泊松实验室相助结果）

论文介绍

论文题目：Weakly-Supervised Temporal Action Alignment Driven by Unbalanced Spectral Fused Gromov-Wasserstein Distance

作者：罗迪新、王瑜彤、岳昂枭、许洪腾

通讯作者：许洪腾

论文概述：作为视频语义分析的重要任务之一，时序行动对齐旨在将视频支解成片段并用文本标志每个片段。大多数现有要领依赖于监视学习来训练时序行动对齐模型。由于标志视频的普遍不足问题，这些要领的实际应用受到了很大的限制。为了缓解这个问题，我们提出了一种基于称为非平衡谱融合Gromov-Wasserstein (US-FGW) 距离的新型盘算最优传输技术，实现了一种弱监视时序行动对齐要领。我们的要领不使用具有已知剪辑和相应文本标签的视频——只需要每个训练视频与一组（未排序的）文底细关联，不需要帧和文本之间的细粒度对应关系。基于这种弱监视的“视频-文本”对，我们的要领在概率型或确定型的自动编码架构中联合训练视频帧和文本的体现模型，并处罚视频帧与文本在隐空间的漫衍之间的US-FGW距离代码。此外，我们推广了经典的对比学习框架，凭据US-FGW距离对其进行了重构和扩展，这为我们的问题提供了一种基于对比学习的新视角。实验结果讲明，我们的要领及其变体优于最先进的弱监视时序行动对齐要领，其结果甚至可以与监视学习要领的结果在一些指标上相媲美。