HuggingFace Daily Papers· Patrick Haller, Filipe Laitenberger, Alan Akbik·2026-10-21 04:00· 5 天前AI 评分35

PACE: 四位状态量化器提升线性注意力语言模型效率

PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States

AI 导读

PACE 是一种后处理四位状态量化器，通过减少状态舍入频率和按列共享量化尺度，在 4B-35B 参数模型上以混合四位和八位头实现与八位 DAMP 相当的性能，内存占用减少约三分之一，同时保持解码速度优势。