inclusionAI/LLaDA2.X

# LLaDA2.X：一系列大型扩散语言模型（从 LLaDA2.0 到 LLaDA2.2 及后续版本...）

[](https://github.com/inclusionAI/dFactory) [](https://github.com/inclusionAI/dInfer) [](https://huggingface.co/collections/inclusionAI/llada20) [](https://huggingface.co/collections/inclusionAI/llada21) [](https://huggingface.co/collections/inclusionAI/llada22) [](./LLaDA2_2_tech_report.pdf)

## 🌟 最新动态 - **[2026/07]** 🚀 我们发布了 **LLaDA2.2: Enabling Agentic Diffusion Language Models via Levenshtein Editing**！ - **[2026/02]** 我们发布了 **LLaDA2.1: Speeding Up Text Diffusion via Token Editing**！ - **[2025/11]** 我们发布了 **LLaDA2.0**，这是首个参数量达到 100B 的扩散语言模型，采用 MoE 架构并展现出卓越的性能。 ## 模型介绍 我们非常高兴地推出蚂蚁集团的离散扩散大型语言模型的里程碑系列——**LLaDA2.0**。LLaDA2.0 家族包含采用混合专家架构的 **LLaDA2.0-mini (16B)** 和 **LLaDA2.0-flash (100B)**，标志着扩散模型首次被扩展至**千亿参数级别**。 ### 核心特性 - **🚀 扩展至 100B 参数**：LLaDA2.0-flash 是迄今为止最大的扩散语言模型，在代码生成和复杂指令遵循任务上表现出卓越的性能。 - **⚡ 2.1 倍推理加速**：借助并行解码机制，LLaDA2.0-flash-CAP 的推理速度高达 **535 tokens/s**，显著超越了同级别的 AR 模型。 - **🔍 完全开源**：16B 和 100B 版本的模型权重及相关训练代码均已在 Hugging Face 上完全开源。 ### 模型变体 | 模型 ID | 描述 | Hugging Face 链接 | | --- | --- | --- | | `inclusionAI/LLaDA2.2-flash` | 经过指令微调的模型，可直接用于下游应用。 | [🤗 模型卡片](https://huggingface.co/inclusionAI/LLaDA2.2-flash) | | `inclusionAI/LLaDA2.1-mini` | 经过指令微调的模型，可直接用于下游应用。 | [🤗 模型卡片](https://huggingface.co/inclusionAI/LLaDA2.1-mini) | | `inclusionAI/LLaDA2.1-flash` | 经过指令微调的模型，可直接用于下游应用。 | [🤗 模型卡片](https://huggingface.co/inclusionAI/LLaDA2.1-flash) | | `inclusionAI/LLaDA2.0-mini` | 经过指令微调的模型，可直接用于下游应用。 | [🤗 模型卡片](https://huggingface.co/inclusionAI/LLaDA2.0-mini) | | `inclusionAI/LLaDA2.0-flash` | 经过指令微调的模型，可直接用于下游应用。 | [🤗 模型卡片](https://huggingface.co/inclusionAI/LLaDA2.0-flash) | | `inclusionAI/LLaDA2.0-mini-CAP` | 采用 Confidence-Aware Parallel 增强，以实现高效推理。 | [🤗 模型卡片](https://huggingface.co/inclusionAI/LLaDA2.0-mini-CAP) | | `inclusionAI/LLaDA2.0-flash-CAP` | 采用 Confidence-Aware Parallel 增强，以实现高效推理。 | [🤗 模型卡片](https://huggingface.co/inclusionAI/LLaDA2.0-flash-CAP) | ## 评估结果 ## 部署与使用 为了让我们的 100B 模型能够在实际中应用，我们进行了深度的工程优化。我们基于 **dInfer** 和 **SGLang** 构建了自定义的推理引擎，支持 KV-Cache 复用和块级并行解码。这使得 LLaDA2.0 不仅仅是一项学术成果，更成为了可直接用于真实世界部署的高性能生成模型。 ## 许可证 本项目采用 [Apache License 2.0](https://www.apache.org/licenses/LICENSE-2.0) 许可协议。 ## 引用 ``` @misc{bie2026llada21speedingtextdiffusion, title={LLaDA2.1: Speeding Up Text Diffusion via Token Editing}, author={Tiwei Bie and Maosong Cao and Xiang Cao and Bingsen Chen and Fuyuan Chen and Kun Chen and Lun Du and Daozhuo Feng and Haibo Feng and Mingliang Gong and Zhuocheng Gong and Yanmei Gu and Jian Guan and Kaiyuan Guan and Hongliang He and Zenan Huang and Juyong Jiang and Zhonghui Jiang and Zhenzhong Lan and Chengxi Li and Jianguo Li and Zehuan Li and Huabin Liu and Lin Liu and Guoshan Lu and Yuan Lu and Yuxin Ma and Xingyu Mou and Zhenxuan Pan and Kaida Qiu and Yuji Ren and Jianfeng Tan and Yiding Tian and Zian Wang and Lanning Wei and Tao Wu and Yipeng Xing and Wentao Ye and Liangyu Zha and Tianze Zhang and Xiaolu Zhang and Junbo Zhao and Da Zheng and Hao Zhong and Wanli Zhong and Jun Zhou and Junlin Zhou and Liwang Zhu and Muzhi Zhu and Yihong Zhuang}, year={2026}, eprint={2602.08676}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/2602.08676}, } @misc{bie2025llada20scalingdiffusionlanguage, title={LLaDA2.0: Scaling Up Diffusion Language Models to 100B}, author={Tiwei Bie and Maosong Cao and Kun Chen and Lun Du and Mingliang Gong and Zhuochen Gong and Yanmei Gu and Jiaqi Hu and Zenan Huang and Zhenzhong Lan and Chengxi Li and Chongxuan Li and Jianguo Li and Zehuan Li and Huabin Liu and Ling Liu and Guoshan Lu and Xiaocheng Lu and Yuxin Ma and Jianfeng Tan and Lanning Wei and Ji-Rong Wen and Yipeng Xing and Xiaolu Zhang and Junbo Zhao and Da Zheng and Jun Zhou and Junlin Zhou and Zhanchao Zhou and Liwang Zhu and Yihong Zhuang}, year={2025}, eprint={2512.15745}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/2512.15745}, } ```

标签：DLL 劫持, 人工智能, 代码生成, 大语言模型, 扩散模型, 混合专家模型, 渗透测试工具, 用户模式Hook绕过, 逆向工具