9月12日，菠菜平台高瓴人工智能学院团队与蚂蚁团体正式宣布了LLaDA-MoE系列模型。该模型创新性地融合掩码扩散机制与动态稀疏激活战略，标志着扩散语言模型从“稠密盘算”向“稀疏高效”迈出要害一步。

大语言模型作为人工智能领域的焦点驱动力，正深刻重塑自然语言理解、智能决策系统乃至日凡人机交互的应用场景。然而，自回归作为大语言模型的传统建模要领，其接纳的逐词元串行生成机制存在解码速度慢、双向依赖建模困难、长序列处置惩罚效率低下等问题。菠菜平台高瓴人工智能学院文继荣、李崇轩团队此前已乐成突破“大语言模型必须自回归建模”的桎梏，率先将扩散模型引入语言生成领域，取得了系统性结果。

（图 1：LLaDA生成结果示意图：通过由浅及深而非从左到右的顺序生成连贯对话）

基于基础理论、扩展定律等方面的前沿探索，人大高瓴团队提出语言智能的焦点并非绑定于自回归结构，而源于对真实语言漫衍的有效迫近。基于这一理念，人大高瓴团队和蚂蚁团体2025年2月联合宣布了全球首个可对话的扩散大语言模型LLaDA 8B，通过“双向填空”的方式替代传统“文字接龙”的范式生成对话文字，在无需逐词元串行预测的前提下，依然实现了上下文学习、指令遵循与多轮对话等要害能力。LLaDA在理论上挑战了自回归是大语言模型唯一范式的恒久主流认识。模型有望利用双向并行能力，突破现有模型速度和效率的瓶颈，具有广泛的潜在应用价值。

（图 2：LLaDA 的三个焦点阶段：（a）预训练，为模型注入世界知识。（b）有监视微调，训练模型遵循人类指令。（c）采样。从完全掩码的回复内容到无掩码的去掩码历程。）

（图 3：LLaDA荣获重要国际聚会会议ICLR研讨会最佳论文）

LLaDA系列事情受到了全球学术界、工业界和开发者的广泛关注。模型开源后，单月下载量过四十万，论文获国际聚会会议ICLR研讨会最佳论文。NVIDIA、普林斯顿、苹果、UCLA、字节跳动等纷纷宣布后续事情，多篇论文或技术陈诉中明确引用LLaDA或将其作为基准模型。今后半年间，人大高瓴团队和蚂蚁团体连续相助，宣布了基于LLaDA的价值对齐模型LLaDA 1.5和多模态理解模型LLaDA-V等事情。

在此之上，团队继续依托架构革新，提高模型效率与可扩展性，将扩散语言模型从Dense架构扩展至MoE架构，推出首个原生扩散语言模型LLaDA-MoE。LLaDA-MoE仅激活1.4B参数，性能即达业界领先的3B自回归模型Qwen2.5-3B水准，且在知识能力、数学推理、代码生成、智能体等任务上逾越现有领先扩散模型，实现效率与智能的双重突破，标志着语言建模迈入“稀疏、并行、高效”时代。

（图 4：MoE 架构扩散语言模型 LLaDA-MoE-7B-A1B-Base）

在2025年9月12日的外滩大会上，人大高瓴团队与蚂蚁团体正式宣布了LLaDA-MoE模型架构。在各项指标测试中，LLaDA-MoE大幅逾越了现有的开源稠密扩散语言模型，在代码生成、数学、智能体等任务上优势明显。此外，模型效果也追平了Qwen2.5-3B这个用同样数据量训练的稠密自回归模型，由此实现了1.4B激活参数，到达2倍多参数稠密模型的等效比。

（图 5：LLaDA-MoE 指令微调模型与其他扩散语言模型和自回归模型在各个任务上的焦点指标对比）

LLaDA-MoE首次实现扩散语言模型与稀疏MoE架构的深度融合，突破了非自回归模型在表达能力与扩展效率上的双重瓶颈。通过掩码去噪与专家路由机制，实现了高质量语言生成能力与低激活参数开销的优化，为扩散语言模型的架构设计提供了“高效智能”的新范式，为进一步扩大模型规模、探索智能上限提供有力支持。

模型链接：

https://huggingface.co/inclusionAI/LLaDA-MoE-7B-A1B-Base

https://huggingface.co/inclusionAI/LLaDA-MoE-7B-A1B-Instruct