扩散语言模型在不同任务和语言中的速度变化分析

研究发现扩散语言模型生成相同长度输出的计算成本差异显著，任务类型和语言特性是关键影响因素。DiffusionGemma 在故事写作中每个 token 的前向传递次数是语法纠错的 3 倍以上，多语言生成中高 token 化语言成本更高。错误答案的推理成本高于正确答案，按解码速度加权候选答案可提升准确率 4.2 分。