HuggingFace Daily Papers· Hiari Pizzini Cavagna, Andrea Proia, Daniele Cesarini, Zeynep Kiziltan, Andrea Bartolini·· 4 天前精选AI 评分65
LLM推理能耗的SIMPLE定律
The SIMPLE Law for Energy Cost of LLM Inference
AI 导读
研究人员提出SIMPLE模型,用四参数定律解析LLM推理能耗,在13种模型上达到R2=0.969和11.97% MAPE,无需每模型校准。研究发现智能体服务能耗是非智能体的13倍,每焦耳智能在推理预算增加时先升后降,最大降幅达3.14倍。
推荐理由
SIMPLE模型首次用四参数定律解析LLM推理能耗,揭示智能体服务能耗高达13倍,每焦耳智能存在最优推理预算。
来源:HuggingFace Daily Papers · arxiv.org