コンテンツにスキップ
メインサイト ニュース コンソール

GLM5.3 Flash版「Strata」が一部ユーザー向けに提供開始!Project Maya

· Reddit · r/LocalLLaMA 翻訳済
Reddit

偶然このプロジェクトを見つけました。以前は GLM-5.3-Flash を動かしても約 10 tok/s しか出ず、ほぼ実用に耐えない状態でした。Maya に切り替えたところ、30 tok/s ほど出るようになりました。これほど低い量子化(quant)精度であっても、現時点では GLM-5.3 の使用感は Qwen 3.8 Flash Next より格段に良いです。現在もテストを継続中です。

これは本当に画期的で、多くの人が GLM-5.3-Flash を動かせるようになります。

https://github.com/mw00/project-maya

Project Maya

手元の GPU で 321B(3210億)パラメータの AI モデルを動かす

GLM-5.3-Flash をプライベートかつ高速に実行 · 1枚〜最大16枚の NVIDIA GPU に対応 · AMD および Windows(実験的)対応 · チャット、画像入力、OpenAI および Anthropic 互換 API をサポート

このクラスのモデルを実行するには、通常データセンターが必要です。しかし Maya を使えば、手持ちのハードウェア上で GLM-5.3-Flash(zai-org 提供、MIT ライセンス)を動かせます。総パラメータ数は 321B(3210億)、トークンあたりのアクティブパラメータ数は約 18B、コンテキスト長は最大 1M トークンに対応。推論エンジンはこのモデル専用に高度に最適化されています。会話で最も頻繁に使用されるエキスパート(experts)を GPU の VRAM に保持し、使用頻度の低いものはシステム RAM に、残りは NVMe SSD に配置して、会話の進行に合わせて動的にページングを行います。GPU、CPU、RAM、SSD の性能をベンチマーク測定し、環境に合わせて自動調整。すべての処理はローカルで完結し、データがデバイスの外に出ることは一切ありません。

  • 圧倒的な速さ:RTX 4090 × 4枚で最大 118 tokens/s、RTX 5090 単体で 30+ tokens/s を記録。下部に一般ユーザーによる実測データを掲載しています。
  • オリジナルに忠実:Maya 独自の量子化手法により、FP8 モデルのゼロショット(zero-shot)精度の 97.7% 〜 99.2% を維持。
  • 既存ツールへのシームレスな統合:OpenAI および Anthropic の API フォーマットと互換性があり、ツール呼び出し(tool calls)をサポート。コーディングエージェント(coding agents)でもそのまま使用可能。
  • 導入してすぐに使える:ブラウザベースのチャット UI、リアルタイムモニタリング、画像入力、思考レベル(thinking levels)の調整機能を備え、コマンド1つでセットアップ完了。

注目のディスカッション

mrgreatheart (⬆57):素晴らしい。これこそ、自分が 256GB メモリを積んだ Epyc にアップグレードした理由そのものです。単一モデルに極限まで最適化された専用エンジンのトレンド、本当に最高ですね。

JockY (⬆27):より広い視点でずっと考えていたのですが、長期的なコーディングタスク(long-horizon coding tasks)が得意なモデルを動かせるようになったことで、自分のソフトウェアスタック全体が完全にカスタム化していることに気づきました。ほぼすべてのツールで「自分専用」のフォークを動かしています。ちょうどこの週末も、純粋な CPU 環境で embeddinggemma-2 を動かそうとしていました。手元に 192 コアの 9965 があるので、GLM 5.3 を一晩中走らせて(omp を使いつつ)、一連のベンチマークを実行・統括させ、この特定のマシン専用に eg2 を動かすカスタム埋め込みサービスをさまざまな戦略でチューニングさせていました……

Solary_Kryptic (⬆18):世間がまだこの流れについてこれていないのは、単に Threadripper を買える人間が世界にほとんどいないからですよ(笑)。

inthesearchof (投稿者) (⬆5):まったくその通りですね。llama.cpp が人気のオープンソースモデルを最適化するペースの遅さを見ればよく分かります。使い勝手は ollama っぽいのに速度はさらに3倍遅い始末。今ではすべてのモデルをカスタムフォークで動かしていて、速度が 200%〜300% 向上しています。

inthesearchof (投稿者) (⬆1):以前はそれを使っていました。もう削除済みです。自分には AVX-512 がありますし。

inthesearchof (投稿者) (⬆2):GitHub を見てみてください。あなたの構成ならまさにうってつけですよ。

ColoredTriangles (⬆38):> RTX 5090 単体で 30+ tokens/s を記録。下部に一般ユーザーによる実測データを掲載しています。 見に行ってみたら IQ2_S じゃないか。お前ら完全にネタで釣りやってんだろ?

bani (⬆17):モデレーターはいつになったら投稿タイトルへの量子化精度(quants)の明記を義務化してくれるんだ? とっくにそうすべきだった。