コンテンツにスキップ
メインサイト ニュース コンソール

GitHub - google-ai-edge/ml-drift: GPU加速によるAI/ML推論

· Reddit · r/LocalLLaMA 翻訳済
Reddit

ブログ記事:ML Drift:エッジ向け次世代 GPU AI/ML 推論 - Google Developers Blog

Google AI Edge チームは、ML Drift を Apache 2.0 ライセンスの下でオープンソースとして公開したことを発表できることを大変嬉しく思います。これは、エッジ/オンデバイス AI/ML 推論向けに設計された、高性能でクロスプラットフォームなエッジ GPU コンピューティングエンジンです。OpenGL ES、OpenCL、Metal、WebGPU など、多様なエッジ GPU のハードウェアおよび低レベル API の複雑さを抽象化することで、ML Drift は開発者が高度なビデオエフェクトから生成 AI に至るまで、リアルタイムでインタラクティブな機械学習体験をマルチプラットフォームで構築できるようにします。ML Drift は LiteRT 内蔵のコア GPU アクセラレーションエンジンとして機能するだけでなく、カスタムグラフィックスや推論ランタイム(runtime)向けのスタンドアロンライブラリとしても利用可能で、クロスプラットフォームで極限のパフォーマンスを引き出すための統一された基盤を提供します。

注目のディスカッション

Chromix_ (⬆46):最大のニュースは「GPU アクセラレーションのサポート」そのものではない(それは何年も前から珍しくない)。真に注目すべきは「既存のオープンソース GPU 推論エンジンと比較して桁違いの性能向上を実現した」という主張だ。ただ、ブログで示されているのは主にモバイルプラットフォームでのパフォーマンスだ。Intel の最新モバイル向け CPU/GPU の数値は確かに良好だが、CUDA や Vulkan ベースの vLLM、llama.cpp などとの比較はされていない。

pmttyji(スレ主) (⬆42):具体的にどのような設計によって、彼らのエンジンがさらなる Prefill(プリフィル)性能の向上を得られたのか気になるところだ。デスクトップ環境における llama.cpp の LLM パフォーマンスを改善するのに、まさにこれが必要とされている。Prefill 8192、decode 1024、コンテキスト長 9216、4-bit 重み(block size 32)、fp16 KV cache、argmax サンプリング、1 トークン生成ごとに 1 回同期。

pseudonerv (⬆12):それは具体的な量子化手法にもよる。一部の量子化フォーマットは計算オーバーヘッドが非常に低いからね。

spaceman_ (⬆12):興味深いのは、Android 向けの主要ターゲットとして OpenCL を選定している点だ。OpenCL はかつて Android 上で広くサポートされていたが、近年はやや下火になっていたので、今の段階なら Vulkan compute shaders(コンピュートシェーダー)を優先するのかと思っていた。

IngwiePhoenix (⬆8):Metal、GL/GLES、そして Vulkan だけか……興味深い選択肢だが、彼らなりの考えがあるのだろう。とはいえ、統一された kernel 言語は見どころがある。ただ疑問なのは……なぜ? 既存のツールでは解決できなかったどんな課題があって、自前でまた車輪の再発明をするに至ったのだろう? o.O

Open-Adhesiveness-86 (⬆6):OpenCL の採用は、主にドライバの現実的な事情によるものだ。Adreno の OpenCL は重みをテクスチャメモリ(texture memory)に常駐させることをサポートしており、fp32 アキュムレーションを伴う fp16 演算を非常に低いオーバーヘッドで実行できる。一方で Mali の各世代ハードウェアにおける Vulkan subgroup/coopmat のサポート状況は、今なおガチャを引くような不安定さだ。欠点は、libOpenCL.so が NDK 標準ライブラリになったことが一度もなく、dlopen 経由でロードするしかない点、そして一部のデバイスではそもそも存在すらしないため、GLES へのフォールバック(fallback)が必要になる点だ。

GradatimRecovery (⬆6):LiteRT は本当に素晴らしい。edge gallery の e4b/e2b は iOS 上で文句なしに最強だ。

pmttyji(スレ主) (⬆8):そうとも言えない。エッジデバイスにより適しているというだけだ。