菠菜平台-十大菠菜平台

2024年9月27日下午，菠菜平台87周年校庆学术周运动-“大模型前沿研究进展”陈诉会在菠菜平台立德楼1826乐成举办。本次学术聚会会议由菠菜平台高瓴人工智能学院主办，由准聘副教授刘勇担任主持。高瓴人工智能学院执行院长文继荣教授出席聚会会议并致辞，赵鑫教授、许洪腾长聘副教授、刘勇准聘副教授、陈旭准聘副教授和林衍凯准聘助理教授作主旨陈诉，配合分享大模型前沿研究进展，聚会会议吸引了多位校内外人员参会。

文继荣教授发表致辞。他指出，以大模型为代表的新一代人工智能技术掀起了全球人工智能生长的新浪潮，未来已来，新的超级工具即将泛起，新的研究方式已在眼前。希望列位师生积极拥抱大模型、学习人工智能知识，将挑战转变为机缘。

赵鑫教授分享了题为“面向大模型训练的数据工程要领”的主旨陈诉。他聚焦于预训练与继续预训练历程的基本技术路线，首先针对其中涉及的数据工程要领展开讨论。除了介绍如何高效利用已有数据外，还介绍了大规模合成数据在继续预训练中的应用要领。最后，以Llama 3为例，完整介绍了继续预逊涉及的数据工程要领。

许洪腾长聘副教授分享了题为“算法驱动的高效模型架构设计与适配技术”的陈诉。他首先介绍了研究的初衷，希望挖掘传统算法在人工智能时代的作用，证明其在模型架构设计和适配方面的重要性。然后，他介绍了已往两年在这一方面的两个代表性事情，包罗基于排序算法的新型注意力机制Sliceformer和基于Householder反射变换的模型轻量化适配技术，划分代表了离散算法和数值盘算在人工智能领域的应用。这些事情不仅在理论上具有创新性，而且展示出在实际应用中的优良性能。其中，Householder反射适配的相关论文已经被NeurIPS2024录用为Spotlight paper。未来，他将同研究团队继续深挖算法驱动的模型架构设计这一偏向。

刘勇准聘副教授分享了题为“大模型基础理论最新进展”的陈诉。他首先介绍了研究大模型基础理论的动机和重要性。然后介绍了其所在课题组在大模型基础理论偏向上的几个最新研究结果，包罗情境学习（In-context learning）机理分析、大模型检索增强（Retrieval augmented generation）是否有益于推理和大模型数据合成解释三个事情，这些事情从机理上给出大模型的能力界限的开端结果，并展示出指导大模型设计的潜力和适用性。

陈旭准聘副教授分享了题为“基于大语言模型智能体的通用社会模拟平台”的陈诉。他首先着眼于社会科学和自然科学的区别和联系，并指出社会科学在研究历程中“以真人为基础”的实验范式的局限性。其次，他介绍了大语言模型智能体对缓解这些局限性可能提供的机缘，并介绍了其课题组构建的通用社会模拟平台，该模拟平台的特点是具有通用性，智能体规模较大，并能自主演化。最后他展示了该平台的操作要领和未来潜力。

林衍凯准聘助理教授分享了题为“大模型自主智能体”的陈诉。他首先面向大模型智能体的工具使用问题，介绍了基于模仿学习和工具学习的两种典型工具学习要领。此外，他还介绍了大模型自主的后面宁静性与工具对齐技术。最后，他从实际应用的角度探讨了大模型自主智能体的模糊意图理解技术、主动式智能体以及自动化流程技术等前沿性技术。

自由讨论环节，现场参会人员与讲者就大模型研究领域的多个问题进行了深入交流探讨，现场气氛热烈。