HuggingFace Daily Papers· Saiteja Utpala, Chieh-Hsin Lai, Yuki Mitsufuji, Praneeth Vepakomma·· 5 天前AI 评分35
Looped Uniform Diffusion Language Models
Looped Uniform Diffusion Language Models
AI 导读
研究发现，在 Uniform Diffusion Language Models（UDLMs）中应用选择性 looping 技术，可显著提升训练效率：仅需 0.5 万亿 token 训练量即可达到原模型 1 万亿 token 的验证 NLL，训练 FLOPs 减少 2.8-3.3 倍；在相同 NFE 预算下，生成困惑度降低最高 9.8%。
来源：HuggingFace Daily Papers · arxiv.org