コンテンツにスキップ
メインサイト ニュース コンソール

[AINews] DeepSeek、SOTA推論フレームワーク「DeepInfer」をオープンソース化:単一クラスタの日次スループット155兆トークン、日商2200万ドル・利益率約80%で81日回収

· Latent Space 翻訳済
播客深度访谈

私たちは 4 月に推論の転換点(Inference Inflection)について取り上げましたが、歴史的に見ても、この分野のブレークスルーの多くは Fireworks から Baseten、さらには Modal に至るような、クローズドソースのデカコーン(評価額 100 億ドル超の超巨大スタートアップ)によってもたらされてきました。

そして今、オープンソース陣営が反撃の狼煙を上げました。ちょうど PyTorch Conference の開幕初日、DeepSeek はコミュニティに向けて「大陸間弾道ミサイル」を放つかのごとく、同社の本番向け技術スタック DeepInfer のオープンソース化を正式発表しました。OpenAI が発表したばかりの 12 時間 と比較して、DeepInfer は最大 72 時間ものプロンプトキャッシュ(Prompt Caching)に対応しています。

🚀 DeepSeek (@deepseek_ai): DeepInfer を正式発表。自社開発の推論フレームワークが完全にオープンソース化されました!

高スループット・低遅延で DeepSeek-V4.1-Flash を大規模に稼働させています。コミュニティの計算コスト削減や省エネを支援し、AI をより身近なものにするため、私たちの本番向け技術スタックを共有します……

これは彼らが vLLM をベースにカスタマイズしたもので、SGLang や TRT-LLM にも謝意が示されています が、数多くの新機能 が解放されています……ただし、彼らの「最大の切り札」である極限まで最適化された KV Cache(コンパクトストレージ+8 時間超のライフサイクル)、PD 分離(Prefill-Decode Disaggregation)、負荷分散などは含まれていません(なお、彼らの 3FS は少し前にすでにオープンソース化されています)。私たちは彼らの公式ブログ記事を翻訳してこちらで公開したほか、完全な研究ガイド(research guide)、原理解析(explainers)、コードマップ(codemap)、サブシステムガイド(subsystem guide)も併せて掲載しています。