跳转到内容
主站 新闻 控制台

[AINews] DeepSeek 开源 SOTA 推理框架 DeepInfer:单集群日吞吐 155 万亿 Token,日入 2200 万美元、利润率约 80%,81 天回本

· Latent Space
播客深度访谈

我们在 4 月份曾报道过推理拐点(Inference Inflection),从历史上看,大部分突破都来自于从 Fireworks 到 Baseten 再到 Modal 这类闭源的百亿美元级超级独角兽(decacorns)。

现在,轮到开源阵营做出回应了。正值 PyTorch 大会(PyTorch Conf) 开幕首日,DeepSeek 准时向讨论圈发射了一枚“洲际弹道导弹”——正式开源其生产级技术栈 DeepInfer。相比 OpenAI 刚刚公布的 12 小时,它支持长达 72 小时的 Prompt 缓存(Prompt Caching):

🚀 DeepSeek (@deepseek_ai): 隆重推出 DeepInfer,我们的自研推理框架现已全面开源!

以高吞吐、低延迟大规模驱动 DeepSeek-V4.1-Flash。我们正在共享我们的生产级技术栈,以帮助社区降低算力成本、减少能耗,并让 AI 更加……

这是他们基于 vLLM 进行的定制,并致谢了 SGLang 与 TRT-LLM,但其中增加了解锁的大量新特性……不过并没有包含他们的“核心底牌”——即极致优化的 KV Cache(紧凑存储 + 大于 8 小时的生命周期)、PD 分离/解耦(Prefill-Decode Disaggregation)以及负载均衡(他们的 3FS 不久前已经开源)。我们翻译了他们的官方博文并在此发布,同时还附上了完整的研究指南(research guide)、原理解析(explainers)、代码地图(codemap)以及子系统指南(subsystem guide):