HuggingFace Daily Papers· Ermo Hua, Xiangyu Hong, Baiting Wu, Che Jiang, Haozheng Hou, Yicheng Gu, Hanjing Wang, Qirui Zeng, Ming Zhang, Ning Ding, Qipeng Guo, Youbang Sun, Biqing Qi, Bowen Zhou·· 6 天前AI 评分35
Meta Expert: 跨层专家共享提升 MoE 存储与检索效率
Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
AI 导读
研究提出跨层共享的 Meta Expert 替代传统分层 Local Expert，在激活数量和专家粒度固定时，仅用 70-80% 专家即可匹配普通 MoE 性能，同时降低参数冗余和交叉熵损失，提升下游任务准确率。
来源：HuggingFace Daily Papers · arxiv.org