华尔街见闻·· 6 天前精选AI 评分75
手机端侧模型参数规模快速膨胀,30B MoE模型开始落地
Scaling Law开始挤进手机了
AI 导读
短短一个月内,30B级端侧模型接连亮相,高通、vivo、面壁智能等厂商成功将大模型部署在手机平台上。MoE技术让模型总参数与单次推理计算量解耦,使手机有机会运行更大规模模型,但模型容量扩大与手机内存、功耗增长不同步,带来技术押注的不确定性。
推荐理由
30B级MoE模型挤进手机,让规模定律首次在端侧落地,但硬件投入与实际收益的平衡仍是未知数。
来源:华尔街见闻 · wallstreetcn.com