コンテンツにスキップ
メインサイト ニュース コンソール

[AINews] DeepSeek DeepInfer:オープンソースSOTA推論、単一クラスタの日次スループット155Tトークン・日次売上2200万ドル・粗利率約80%・投資回収わずか81日

· Latent Space 翻訳済
播客深度访谈

SerpAPI 提供:本日の発表内容は極めて情報量が多いですが、すべてスクレイピングしてお使いのエージェントに適した Markdown 形式に変換できます!JSON と比較してトークンコストを 50% 削減可能です。


私たちが前回推論の転換点について報じたのは 4 月のことでしたが、歴史的に見ても、その進展の大半は Fireworks から Baseten、さらには Modal に至るまで、クローズドソースのデカコーン(企業価値100億ドル超のメガスタートアップ)からもたらされてきました。

今度は、オープンソース側の反撃の番です。本日は PyTorch 開発者カンファレンスの初日ですが、DeepSeek は絶妙なタイミングで大陸間弾道ミサイルを投下し、会場全体の議論を沸騰させました——本番環境対応の技術スタック DeepInfer をオープンソース化したのです。この技術スタックは最長 72 時間のプロンプトキャッシング(Prompt Caching)に対応しており、OpenAI が発表したばかりのキャッシュ保持時間 12 時間と比べても群を抜いています:

これは彼らが vLLM をベースに大幅なカスタマイズを加えたバージョン(SGLang と TRT-LLM への謝辞も記載)であり、多数の新機能が盛り込まれています……ただし、彼らの最もコアとなる「秘蔵の武器」は省かれています——極限まで最適化された KV キャッシュ(コンパクトなフォーマット+8時間以上のライフサイクル)、PD 分離/非集約アーキテクチャ(Prefill/Decode Disaggregation)、そしてロードバランシングです(同社の分散ストレージシステム 3FS は先日すでにオープンソース化されています)。私たちは彼らの公式ブログ記事を翻訳してこちらで公開するとともに、完全なリサーチガイド、徹底解説、コードマップ(Codemap)、およびサブシステムガイドも用意しました:

私たちが追加公開情報の分析で指摘した通り、彼らは1日に155T(兆)トークンを処理していると主張しており、オフピーク価格で計算しても、SM100/A950 GPU 1枚あたり1時間で38ドルの収益を生み出していることになります(現在の100万入力/出力トークンあたりの価格はそれぞれ0.15ドル/0.60ドル:1.55億(100万トークン単位)× 0.14ドルの加重平均コスト ÷ 24時間で計算すると、1時間あたりの売上高は約100万ドルに達します)。彼らが公開した本番環境の実データ(私たちが翻訳しました)によると、Prefill GPU 1枚あたり毎秒150万個のキャッシュ込み入力トークンを処理(入力キャッシュヒット率は96%に到達)し、Decode GPU 1枚あたり毎秒1.4万トークンを出力しています(クラスタ規模は約2,400枚の GPU):

Image preview