跳到正文
HuggingFace Daily Papers· Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, Yiran Zhong, Weiyang Liu·· 3 天前AI 评分45

TTR-Compressor:基于测试时回归的序列压缩方法

Rethinking Sequence Compression with Test-time Regression

AI 导读

TTR-Compressor 通过测试时回归实现序列压缩,在块级稀疏注意力中显著提升 RULER 性能,在多模态模型视觉 token 合并中减少 55.6% token 量且匹配标准 MLP 合并效果。该方法为高效语言和多模态模型提供新压缩方案。

来源:HuggingFace Daily Papers · arxiv.org