DeepSeek开源推理框架DeepInfer
先了解这件事
2026年10月20日，DeepSeek宣布全面开源其内部推理框架DeepInfer及Token编解码组件deepseek-recipe。该框架基于vLLM构建，通过优化计算内核、多芯片分布式处理和更快的文本生成技术，支持英伟达SM100 GPU和华为昇腾950系列NPU，开发者可通过环境变量在两类硬件间切换。DeepInfer负责调度算力集群，直接影响AI服务的算力成本和电费，已实现单集群日吞吐155万亿Token，非高峰时段每卡每小时收入38美元，约80%的推理利润率，81天可收回成本。该框架集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码等能力，用于优化大规模推理的吞吐与延迟，降低算力成本和能源消耗。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- 钛媒体DeepSeek开源推理框架DeepInfer并披露收入账本
DeepSeek宣布开源推理框架DeepInfer，支撑其大模型高吞吐、低延迟线上推理服务，单一集群服务吞吐达155万亿tokens/天，整体收入为每卡每小时38美元。同时，DeepSeek考虑入局具身智能领域，梁文锋正与相关创业者交流。
- Latent Space精选DeepSeek开源DeepInfer高性能推理框架
DeepSeek开源了其生产级推理框架DeepInfer，支持高达155万亿tokens/天的集群吞吐量，在非高峰时段每卡每小时收入达38美元，约80%的推理利润率，81天可收回成本。该框架基于vLLM定制，添加了优化的KV缓存、预填充/解码分离和负载平衡等功能，支持NVIDIA SM100和华为Ascend 950平台。
- 钛媒体精选DeepSeek推理框架DeepInfer对等支持华为、英伟达芯片
DeepSeek宣布开源自研推理框架DeepInfer，同时支持华为昇腾950系列NPU和英伟达SM100 GPU，二者处于对等构建选项地位。开发者可通过环境变量在两类硬件间切换，大幅降低国产芯片适配门槛，有望加速国产芯片替代进程。
- 钛媒体DeepSeek宣布全面开源内部推理框架DeepInfer
DeepSeek于10月20日宣布将内部推理框架DeepInfer全面开源。基于此框架，公司已实现DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理服务，未来新模型的推理代码及优化也将在此持续更新。
- The DecoderDeepseek 开源 DeepInfer 推理引擎
Deepseek 开源了其内部推理框架 DeepInfer，该框架基于 vLLM 构建，通过优化计算内核、多芯片分布式处理和更快的文本生成技术，使其 V4.1-Flash 模型能够快速规模化生成响应。公司还发布了 deepseek-recipe，用于复制官方 Deepseek API 的 token 处理方式，确保自托管设置行为一致。
- IT之家DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，旨在帮助开发者与企业优化大规模推理的吞吐与延迟，降低算力成本和能源消耗。该框架集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码等能力，兼容英伟达与华为昇腾平台。
- 华尔街见闻精选DeepSeek全面开源推理框架DeepInfer
DeepSeek宣布全面开源内部推理框架DeepInfer及Token编解码组件deepseek-recipe，支持英伟达与华为昇腾平台，单集群日吞吐达155万亿Token，每卡每小时收入38美元。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 4310月21日 15:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。