コンテンツにスキップ
メインサイト ニュース コンソール

Qwen3.8-27B:R9700で159 tok/s、Strix Haloで64 tok/sを達成

· Reddit · r/LocalLLaMA 翻訳済
Reddit

LemonSeed Studio は、Thunderbolt 経由で接続した AMD GPU(eGPU)によるオンデバイス推論に対応した iPad 向けのエディタ/IDE です。アップストリームの未変更の Linux amdgpu + amdkfd ドライバ(mac_linuxgpu)を PCIDriverKit エクステンションとして組み込み、GPU 上で LemonSeed Engine (LSE) を動作させています。画像で示されている構成は、iPad Pro + Sapphire Radeon AI PRO R9700 で、Qwen3.8-27B Q4 モデルと Q8 DFlash2 ドラフトモデル(draft)を組み合わせ、コンテキスト長 131k で動作させています。

LSE はすべてのプラットフォーム(Linux、macOS、iPadOS)で全く同一のエンジンを使用しています。モデルのフォワードパス(forward pass)を計算グラフとして記録し、オペレータ融合(op fusion)を実行した上で、対象の GPU 向けにカーネル(kernels)を生成します。あるオペレータのカーネルに対して複数のメモリレイアウト(layout)が存在する場合、実機上でそれぞれベンチマークを行い、最も高速なものを採用します。投機的デコード(Speculative Decoding、MTP および DFlash2 に対応)では、実測された採択率とオーバーヘッドに基づいて、検証するドラフトトークンの数を動的に決定します。

デコード速度(Decode、コードプロンプト、Qwen3.8-27B Q4、ベースライン / MTP=3 / DFlash2、単位:tok/s):

  • iPadOS 上の R9700(LemonSeed Studio):31.2 / 108.7 / 158.5

  • macOS 上の R9700:32.2 / 111.9 / 159.4

  • Linux 上の R9700:32.0 / 111.0 / 144.6

  • Linux 上の Strix Halo(Radeon 8060S):14.0 / 47.8 / 64.4

4K トークンにおけるプリフィル(Prefill)速度:1,636(iPadOS)、1,634(macOS)、1,418(Linux R9700)、517(Strix Halo)。32K トークンでも安定したパフォーマンスを維持:1,395 / 1,401 / 1,226 / 462。

バージョン 0.5.8 のアップデート内容:

  • DFlash2 ドラフトツリー(draft trees)をデフォルトで有効化:ベンチマークによりツリー構造がチェーン構造よりも高速であると判明した場合、ターゲットモデルの1回のフォワードパスで候補ドラフトツリー全体を検証
  • Strix Halo (gfx1151) 向けのプリフィルおよびデコードの最適化:gate/up GEMM の融合、プリフィル Attention 計算においてワークグループ(workgroup)ごとに2つのクエリタイルを割り当て
  • GPU 起動時の不具合を修正
  • Linux アーカイブに HSA ランタイムを同梱。そのため、/dev/kfd へのアクセス権を持つ amdgpu ドライバさえあれば動作可能に
  • lse-server models / pull:Hugging Face のモデルおよび対応する MTP や DFlash2 ドラフトモデルを直接取得可能に

OpenAI 互換 API サーバー、CLI ツール、および C 言語ライブラリ(libLSE)を提供しています。

Engine: https://github.com/Geramy/LSE

Studio: https://github.com/Geramy/LemonSeed-Studio

iPadOS 上で eGPU を動作させる仕組みなど、質問があれば喜んでお答えします。

注目のディスカッション

harrro (⬆49):iPad にデスクトップ向け GPU を外付けできるなんて今日初めて知りました……素晴らしいプロジェクトですね。 TheOriginalG2 (OP) (⬆5):ありがとうございます! t-i-m-o-t-h-y (⬆17):iPadOS で eGPU を動かす方法について質問したいのですが……一体どうやって実現したんですか?! TheOriginalG2 (OP) (⬆20):はは、Apple Developer アカウントを取得して、DriverKit の開発権限を申請し(これは即座に承認されます)、あとはビルドして署名済みの iPad にローカルデプロイするだけですよ、笑。 TheOriginalG2 (OP) (⬆5):最初は amdgpu を Mac にポーティングしていただけだったのですが、それが動くようになってからは shim(シム)レイヤーで Linux をラップする方式に切り替えました。そうすれば amdgpu や関連ソフトウェアを直接メンテナンスし直す必要がなくなりますからね。同僚がそちらの方が優れたアプローチだとアドバイスしてくれたおかげです。最初の移植で作った足場がすでにあったので、そこからはとてもスムーズでした。今では他の人もこの shim レイヤーをベースにして、さらに多くのものを Mac に移植できるようになっています。 feelspeaceman (⬆4):素晴らしいですね。gufo でも Q38-27-Q8 が 40 t/s、プリフィルは 600〜700 t/s で動作しており、まだ最適化の余地はあるもののかなり快適に使えています。よほどの理由がない限り、Strix Halo にとって Q38FN は第一候補のモデルですからね。編集:タイポでした、正しくは Q38-27-Q4 です。 TheOriginalG2 (OP) (⬆1):gufo は普段あまり使っていないので、まだテストしていません。 TheOriginalG2 (OP) (⬆1):そうですね、本当に素晴らしいモデルです。普段は Q4 や Q6 を選ぶことが多いですし、今回の最適化もまだ第1弾に過ぎませんから。