MemT-1.0:迈向记忆原生进化
MemT-1.0是一种新型记忆基础模型架构,将记忆内化为模型计算的一部分。该模型采用Gated DeltaNet-2和Mixture-of-Storage技术,在128K上下文长度下实现1.86倍端到端推理加速和66倍持久存储减少,同时保持与检索增强方法相竞争的性能。研究团队发布了MemT-1.0-Nano和MemT-1.0-Flash模型,并通过34B tokens训练数据进行了全面评估。
推荐理由:将记忆内化为模型计算能力,MemT-1.0 在128K上下文下实现1.86倍推理加速和66倍存储减少。