Google Research·· 2 小时前精选AI 评分75
Google Research 提出睡眠框架:解决 LLM 持续学习中的知识保留问题
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出睡眠框架,通过模拟人类睡眠机制,让 LLM 在活跃交互与离线记忆 consolidation 之间交替,实现持续学习新知识、保留长达 10M tokens 的长上下文知识并提升复杂推理能力。该框架在持续翻译、长上下文理解和事实知识获取等任务中表现优异,有效解决了灾难性遗忘问题。
推荐理由
模拟人类睡眠机制解决LLM持续学习中的灾难性遗忘,通过记忆巩固与自我改进双阶段实现长期知识保留。
来源:Google Research · research.google