混合架构中的竞争学习研究

研究发现混合架构中线性时间递归与softmax注意力存在竞争学习现象，递归层更快学习检索功能导致注意力层失效。通过在训练中途停止递归层更新，可提升注意力层检索能力，该方法在1B参数模型上显著降低语言建模损失并提升常识推理与检索任务表现。