跳到正文
IT之家·· 2 小时前精选AI 评分78

淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s

AI 导读

淘宝 MNN 团队发布 MNN-Pocket-0.3B 模型,专为手机应用设计,在苹果 iPhone 18 Pro 上实现平均解码速度 350token/s,峰值内存低于 300MB,INT4 部署文件体积仅 173MB。该模型在 iPad Pro M5 上解码吞吐达 466token/s,约为同条件下 Qwen3-0.6B 的 1.63 倍,同时提供多个开源版本供开发者选择。

推荐理由

淘宝 MNN 团队开源 0.3B 手机模型,在 iPhone 18 Pro 上实现 350 token/s 离线推理,为端侧大模型提供轻量级解决方案。

来源:IT之家 · ithome.com