跳到正文
10月23日周五
10月22日周四
  1. HuggingFace Daily Papers45

    检索增强生成组合性研究

    研究发现 RAG 技术单独优化与组合效果差异显著,450 组配置测试显示组合增益仅 17%,远低于预期的 47%;最佳组合随语料库规模变化,小语料最优方案在大规模时失效。LASAGNA 开源框架支持此类评估。

10月21日周三
10月18日周日
  1. HuggingFace Daily Papers45

    Deep Fusion Memory: 大语言模型的块级参数化记忆架构

    Deep Fusion Memory (DFM) 是一种参数化记忆架构,通过块级记忆预测和门控交叉注意力将知识融入中间隐藏状态,无需显式检索。相比现有方法,DFM 构建训练数据的检索查询量减少 32 倍,检索项减少 2048 倍。在六项 QA 任务中,DFM 在 Mistral-7B-v0.3 和 Qwen3-8B-Base 上分别超越最强基线 12.71% 和 11.19%。