微信 AI 团队提出新型扩散语言模型框架:WeDLM
腾讯微信AI团队提出了一种新型扩散语言模型框架WeDLM(WeChat Diffusion Language Model),旨在解决传统大型语言模型(如GPT系列)在并行推理效率上的瓶颈问题。 论文 & 代码地址:https://github.com/tencent/WeDLM WeDLM通过拓扑重排技术,将扩散模型与标准因果注意力机制结合,使并行生成过程兼容KV缓存技术,解决了传统扩散模型因双向注意力导致的加速受限问题。这一设计使模型在保持生成质量的同时,推理速度显著提升,尤其在复杂推理任务(如数学计算、代码生成)中表现突出。 性能表现 速度优势:在数学推理任务(如GSM8K)中,WeDLM-8B相比优化后的自回归模型(如Qwen3-8B)加速约3倍,在低熵场景(如计数任务)中加速可达10倍以上。 质量保障:在多个基准测试(如ARC、MMLU、Hellaswag)中,WeDLM的生成质量与自回归基线模型相当甚至更优,证明了其在保持高效的同时不牺牲准确性。 应用场景 WeDLM适用于需要快速生成大量文本的场景,如智能客服、代码辅助生成、实时问答等。其高效推理能力有助于降低计...
