現在クライアント向けに構築しているマシン構成を簡単にシェアします。
1.8万ドル。
スペック構成:
Threadripper 9970x
128GB DDR5 ECC 5600
4x AMD Radeon R9700 AI Pro 32GB(合計VRAM 128GB)
1600W 電源(GPUはすべて低電圧化済み、1枚あたりの消費電力は210W未満)
推論エンジン:Radiance のフォーク(fork)版を使用して Qwen 3.8 Next flash/27b および DSV4 Flash を実行
テスト結果:
16 同時セッション
Qwen 3.8 27b MXFP4
アグリゲート prefill: 6.3k - 6.8k tokens/s
アグリゲート decode: 900 tokens/s - 80 tokens/s(各コンテキスト長: 4k - 128k)
Qwen 3.8 Next flash
48k/ユーザー | 6,880 tokens/s | 538.5 tokens/s アグリゲート prefill/decode
128k/ユーザー | 3,050 tokens/s | 365 tokens/s アグリゲート prefill/decode
すべて BF16 KV キャッシュ(KV Cache)を採用。
注目のコメント
MurmurRunner (⬆167):OpenAIとAnthropicの時代はもう終わりつつある気がする。スタートアップがローカルモデルを採用する構成を見るのは、これで5社目だ。 ang3l12 (⬆83):実際、ローカルモデルが十分軽量かつ賢くなって、中小企業にとってコストに見合うようになったのは今年の8月頃からだよね。自分も当時、Qwen 3.8 27b を使って大半のユーザー向けにローカル運用できることを経営陣に証明した。ハードウェアが届く頃には、glm 5.3 flash や Qwen 3.8 flash next が出たことでその判断の正しさがさらに裏付けられて、Spark 4枚と R9700 2枚の調達が最高にコスパの良い投資になったよ。 CatalyticDragon (⬆37):推論の評価フレームワークや周辺ツール群(harnesses)に注ぎ込まれた労力を軽視しちゃいけない。それらがなければ、これらのモデルがここまで強い競争力を持つことはあり得なかった。 mohelgamal (⬆23):その手の話はずっと前から言われ続けている。仮にモデル性能が追いついたとしても(現状はまだ追いついていないが)、大企業にはスケールメリットがあるし、ライトユーザー層も膨大だ。そうした層にとっては、2万ドルもかけてローカル機材を組むより、月額20ドル払うほうが遥かに合理的。AI登場以前にクラウドが普及したのと同じ理屈だよ。企業はいつだって自前でサーバーを運用できるが、クラウドなら規模の経済が働き、実際の需要に合わせてコストを柔軟に調整できる。 sleight42 (⬆57):へぇ。16ユーザーで試算すると、元を取るのに5.75年くらいかかりそうだけど。データプライバシーが最優先事項なのかな? sayamss (投稿者) (⬆9):実際は9ヶ月で回収できます。 mohelgamal (⬆34):どうせ2〜3年もすれば、こうしたスタートアップの99%は過去のスタートアップと同じ轍を踏んで(潰れて)、機材が全部eBayに安値で流れてくるのを待つことになるよ。 sayamss (投稿者) (⬆22):1.8万ドルです。