Dory1.0-4B: 一种循环归一化GPT模型

研究人员发布了Dory1.0-4B，一个40亿参数的循环语言模型，通过弹性深度设计使单个检查点适应不同推理计算预算。该模型在6万亿token上预训练，使用监督微调和强化学习进行后训练，在12个基准测试中超越Qwen3.5-9B等更大模型，并开源了多种量化版本。