跳到正文
Google Research·· 2 小时前精选AI 评分75

Google Research 提出睡眠框架:解决 LLM 持续学习中的知识保留问题

The sleep framework: A new way for LLMs to retain knowledge in continual learning

AI 导读

Google Research 提出睡眠框架,通过模拟人类睡眠机制,让 LLM 在活跃交互与离线记忆 consolidation 之间交替,实现持续学习新知识、保留长达 10M tokens 的长上下文知识并提升复杂推理能力。该框架在持续翻译、长上下文理解和事实知识获取等任务中表现优异,有效解决了灾难性遗忘问题。

推荐理由

模拟人类睡眠机制解决LLM持续学习中的灾难性遗忘,通过记忆巩固与自我改进双阶段实现长期知识保留。

来源:Google Research · research.google