The Decoder· Matthias Bastian·· 5 天前AI 评分75
Deepseek 开源 DeepInfer 推理引擎
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
Deepseek 开源了其内部推理框架 DeepInfer，该框架基于 vLLM 构建，通过优化计算内核、多芯片分布式处理和更快的文本生成技术，使其 V4.1-Flash 模型能够快速规模化生成响应。公司还发布了 deepseek-recipe，用于复制官方 Deepseek API 的 token 处理方式，确保自托管设置行为一致。
来源：The Decoder · the-decoder.com