HuggingFace Daily Papers· Wenfeng Wang, Xiaofeng Hou, Xinfeng Xia, Xinkai WAng, Mingxuan Zhang, Peng Tang, Jiacheng Liu, Chao Li·· 6 天前AI 评分45
Specter: 通过量化驱动的多步推测卸载实现快速 MoE 推理
Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading
AI 导读
Specter 系统结合量化与推测解码,在单 GPU 上实现 MoE 模型专家卸载,平均输出令牌时间(TPOT)提速 1.50 倍(最高 1.88 倍)。该方案通过轻量量化草稿模型预测专家使用模式,优化通信与执行效率,使内存受限的 MoE 推理在消费级硬件上更可行。代码已开源。
来源:HuggingFace Daily Papers · arxiv.org