HuggingFace Daily Papers· Rubin Wei, Siyuan Sun, Hao Sun, Yuliang Liu, Xiang Shi, Jiarui Wang, Junming Zhang, Zhouhan Lin·· 8 天前AI 评分45
Deep Fusion Memory: 大语言模型的块级参数化记忆架构
Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models
AI 导读
Deep Fusion Memory (DFM) 是一种参数化记忆架构，通过块级记忆预测和门控交叉注意力将知识融入中间隐藏状态，无需显式检索。相比现有方法，DFM 构建训练数据的检索查询量减少 32 倍，检索项减少 2048 倍。在六项 QA 任务中，DFM 在 Mistral-7B-v0.3 和 Qwen3-8B-Base 上分别超越最强基线 12.71% 和 11.19%。
来源：HuggingFace Daily Papers · arxiv.org