跳到正文
HuggingFace Daily Papers· Hiari Pizzini Cavagna, Andrea Proia, Daniele Cesarini, Zeynep Kiziltan, Andrea Bartolini·· 4 天前精选AI 评分65

LLM推理能耗的SIMPLE定律

The SIMPLE Law for Energy Cost of LLM Inference

AI 导读

研究人员提出SIMPLE模型,用四参数定律解析LLM推理能耗,在13种模型上达到R2=0.969和11.97% MAPE,无需每模型校准。研究发现智能体服务能耗是非智能体的13倍,每焦耳智能在推理预算增加时先升后降,最大降幅达3.14倍。

推荐理由

SIMPLE模型首次用四参数定律解析LLM推理能耗,揭示智能体服务能耗高达13倍,每焦耳智能存在最优推理预算。

来源:HuggingFace Daily Papers · arxiv.org