HuggingFace Daily Papers· Anamaria-Roberta Hartl, Levente Zólyomi, Michael List, Günter Klambauer, Sebastian Böck, Sepp Hochreiter·· 7 天前AI 评分45
KronLSTM:基于 Kronecker Delta Rule 的长上下文线性注意力架构
Kronecker Delta Rule for Long Context Linear Attention
AI 导读
研究提出 KronLSTM,一种基于 Kronecker Delta Rule 的线性注意力架构,通过最小化内存干扰机制提升长上下文语言建模性能。实验显示其优于现有线性注意力架构,尤其在长上下文基准测试中表现突出。代码与模型已开源。
来源:HuggingFace Daily Papers · arxiv.org