6月2日，菠菜平台高瓴人工智能学院卢志武教授、孙浩长聘副教授、以及院长文继荣教授作为配合通讯作者在国际综合期刊《自然·通讯》（英文名：Nature Communications，简称Nat Commun）上发表题为“Towards Artificial General Intelligence via a Multimodal Foundation Model”的研究论文，文章第一作者为博士生费楠益。《自然·通讯》是《自然》杂志旗下的子刊之一，主要出书自然科学各领域的高质量研究结果，强调发表新颖、重要、高质量及读者感兴趣的研究。该刊于2010年4月创刊，2021年的影响因子为14.919，5年平均影响因子为15.805。

人工智能的基本目标是模仿人类的焦点认知运动好比感知、推理等。虽然许多人工智能算法或模型在各个研究领域都取得了很是大的乐成，但是受限于大量标注数据的获取或是没有足够的盘算资源支撑在大规模数据上的训练，大多数的人工智能事情照旧只局限于单个认知能力的习得。为了克服这些困难，并向通用人工智能迈出坚实的一步，作者以人类大脑处置惩罚多模态信息为灵感（如图1a），开发了一个多模态（视觉语言）基础模型，也即预训练模型。此外，为了让模型获得强大的泛化能力，作者提出训练数据中的图片与文本应遵循弱语义相关假设（如图1b），而不是图片区域与单词的精细匹配（强语义相关），因为强语义相关假设将导致模型丢失人们在为图片配文时暗含的庞大情感和思考。通过在爬取自互联网的大规模图文对数据上进行训练，作者获得的多模态基础模型显示出强大的泛化能力和想象能力。作者在多模态预训练模型可解释性上的实验也说明这些能力很有可能从源头上归因于弱语义相关的数据假设。

图1：基于弱语义相关假设的BriVL模型。a.我们的BriVL模型和人脑在处置惩罚视觉语言信息上的对比。b.建模弱语义相关数据和建模强语义相关数据的对比。

该事情作为文澜项目的重要结果，不仅开发了一个相对资源节约以及方便部署的多模态基础模型，更是在模型可解释性上进行了实验。通过牢固模型参数的神经网络可视化、文生成图等手段，作者直观展示了多模态基础模型的模态对齐空间，即模型对文本的强大想象力（如图2）。在各项下游任务的可视化中，该多模态基础模型甚至展现出一些知识理解的能力。该事情中提出的基于momentum机制的模型设计有望降低研究者对盘算资源的需求，模态疏散的双塔设计也提高了模型的可扩展性和落地效率。另外，多模态基础模型也会为许多AI+领域提供新的思路，好比利用多模态信息更好地进行诊断，或者辅助神经科学家进行人脑多模态机制的研究。

图2：基于倒转VQGAN的BriVL模型文生成图结果。VQGAN和BriVL在整个历程中均牢固稳定。

论文信息：

Title: Towards Artificial General Intelligence via a Multimodal Foundation Model

Authors: Nanyi Fei, Zhiwu Lu*, Yizhao Gao, Guoxing Yang, Yuqi Huo, Jingyuan Wen, Haoyu Lu, Ruihua Song, Xin Gao, Tao Xiang, Hao Sun* and Ji-Rong Wen* (* corresponding authors)

作者：费楠益，卢志武*，高一钊，杨国兴，霍宇琦，温静远，卢浩宇，宋睿华，高欣，向滔，孙浩*，文继荣*

论文链接：https://www.nature.com/articles/s41467-022-30761-2

代码链接：https://github.com/neilfei/brivl-nmi