精华速览
在CNCC 2026上，上海交通大学副教授邓志杰围绕扩散大语言模型的效率问题展开分享，核心命题是在保证生成质量的同时让模型生成得更快。他梳理了从LLaDA、Dream等基础路线，到跨块并行生成、后训练优化和推理系统加速的完整路径，并强调评价效率不能只看每轮提交的token数，还要计入每轮耗时，同时考察答案正确率和代码通过率。分享还介绍了相关方法在流式视频、语音修复、多模态与智能体中的应用探索。整体来看，扩散语言模型正从“能生成”走向“又快又好”，但质量与速度的折中仍是关键挑战。
要点透视
- 邓志杰在CNCC 2026发表题为“扩散大语言模型方法及应用”的演讲，重点讨论扩散语言模型如何在保证质量的前提下提升生成速度。
- LLaDA将掩码扩散路线扩展到8B参数规模，预训练对完整序列随机掩码，监督微调只对回答部分掩码；Dream则复用自回归模型权重，将注意力从因果结构改为双向结构，并保留预测位置偏移一位的结构。
- Block Diffusion采用“块内扩散、块间自回归”方式，可缓存已完成块的KV状态并追加块扩展输出长度，但并行范围被限制在块内。
- D2F将Diffusion Forcing引入语言模型，让多个块同时去噪，训练时用双向上下文教师模型指导学生模型，推理时完成块进入缓存、后续块继续生成。
- MultiBD针对训练与推理不一致问题，覆盖实际推理中的窗口大小、块位置和噪声间隔；在两张H100、单样本、张量并行度为2的设置下，MBD-LLaDA2-Mini达到约746 TPS。
- CForce用后期更充分的预测指导早期预测，LLaDA2.1-mini经训练后四项任务平均得分从85.57提高到86.41，平均TPF从6.94提高到9.08；在两张H20、张量并行度为2、单样本测试中，GSM8K和HumanEval速度分别约为1232和1353 TPS。
- LightningRL同时奖励正确性和TPF，在固定TPF为7的比较中，GSM8K准确率由原始SDAR的71.2%提高到87.5%。
- Fast-dLLM结合近似KV缓存和基于置信度的解码，在LLaDA-Instruct、GSM8K 5-shot、单张A100且批量为1的实验中，速度从6.7提高到54.4 TPS，准确率从79.3%变为78.5%；LoPA在MBPP测试中结合分布式推理引擎达到1073.9 token/s。
文章拆解
扩散语言模型的出发点，是打破自回归模型严格从左到右的生成顺序。掩码扩散模型同时预测多个缺失位置，再逐步补全文本，这为并行生成提供了天然空间。但并行潜力并不自动等于实际速度，因为每轮计算开销、KV缓存复用和生成窗口限制都会影响最终效率。邓志杰的分享实际上勾勒出一条从模型结构到训练方法再到推理系统的完整优化链条。
早期扩散语言模型面临两个现实问题：一是难以复用KV缓存，需要反复计算上下文；二是生成窗口固定，难以灵活输出长文本。Block Diffusion通过“块内扩散、块间自回归”缓解了缓存和长度扩展问题，但并行范围仍被限制在块内。D2F进一步让多个块同时去噪，使前序块未完成时后续块也能开始生成，从而提升每轮提交量并减少单独写入缓存的开销。MultiBD则针对训练与推理状态不一致的问题，让训练覆盖实际推理中的窗口大小、块位置和噪声间隔，这是从算法层面逼近真实部署条件的关键一步。
质量与速度的折中贯穿始终。降低解码接收阈值可以每轮接受更多token，但早期上下文不充分时容易放大误判。CForce用后期预测指导早期预测，LightningRL把正确性和并行度同时纳入奖励，都是在不牺牲太多质量的前提下换取速度。Fast-dLLM和LoPA则从推理侧入手，前者用近似KV缓存和置信度解码降低每轮耗时、提高提交量，后者通过向前看一步选择更有利于后续并行解码的路径。这些方法共同说明，扩散语言模型的加速不是单一技巧，而是模型、训练和系统协同设计的结果。
从行业影响看，扩散语言模型若能在代码生成、数学推理等任务上稳定实现更高TPS，将直接改善交互式应用的响应体验。流式视频生成、语音修复和多模态智能体等方向，则展示了多块并行思想向文本之外迁移的可能性。WaveForcing在测试中端到端速度达到约117帧/秒，后续系统优化进一步达到150帧/秒，说明该思路在视频场景具备工程潜力。
值得关注的变量包括：不同模型在EOS停止规则上尚不统一，长文本生成的稳定性仍需验证；训练与推理状态不一致的问题是否已被MultiBD充分覆盖，尚待确认；强化学习奖励中正确性与TPF的权重设计，可能在不同任务上表现差异较大。潜在风险在于，过度追求并行度可能带来质量下降，而近似KV缓存和前瞻策略的收益也会随探索分支增加而饱和。总体而言，扩散语言模型正在从学术探索走向系统优化，但“又快又好”仍是需要持续权衡的工程命题。
暂无评论。