跳转到内容
主站 新闻 控制台

GitHub - google-ai-edge/ml-drift:GPU 加速 AI/ML 推理

· Reddit · r/LocalLLaMA
Reddit

博客文章:ML Drift:边缘端下一代 GPU AI/ML 推理 - Google 开发者博客

Google AI Edge 团队非常高兴地宣布,在 Apache 2.0 许可下开源发布 ML Drift。这是我们专为端侧 AI/ML 推理打造的高性能、跨平台端侧 GPU 计算引擎。通过屏蔽 OpenGL ES、OpenCL、Metal 和 WebGPU 等不同端侧 GPU 的硬件及底层 API 复杂性,ML Drift 赋能开发者在多平台上构建从高级视频特效到生成式 AI 的实时交互式机器学习体验。ML Drift 不仅作为 LiteRT 内置的核心 GPU 加速引擎,同时还可作为独立库用于自定义图形和推理运行时(runtime),为跨平台释放极致性能提供统一的基础底座。

热门讨论

Chromix_ (⬆46):大新闻其实不在于“支持 GPU 加速”(这在多年前就不是新鲜事了)。真正引人关注的是这一声明:“相较于现有的开源 GPU 推理引擎,实现了数量级的性能提升”。不过,他们在博客中展示的大多是移动平台的性能表现。Intel 最新移动端 CPU/GPU 上的数据确实还不错,但没有与基于 CUDA 和 Vulkan 的 vLLM、llama.cpp 等进行对比。

pmttyji(楼主) (⬆42):不知道具体是哪项设计让他们的引擎获得了额外的 Prefill(预填充)性能提升。我们很需要这个来改善 llama.cpp 在桌面端的 LLM 性能。Prefill 8192,decode 1024,上下文长度 9216,4-bit 权重(block size 32),fp16 KV cache,argmax 采样,每生成一个 token 同步一次。

pseudonerv (⬆12):这也取决于具体的量化方式,某些量化格式的计算开销非常低。

spaceman_ (⬆12):有意思的是,他们把 OpenCL 选为了 Android 端的主要目标。OpenCL 过去在 Android 上的支持很广泛,但近年来有点退居二线了,我还以为现阶段他们会更倾向于使用 Vulkan compute shaders(计算着色器)。

IngwiePhoenix (⬆8):只有 Metal、GL/GLES 和 Vulkan……耐人寻味的选择,但他们大概自有考量。不过那个统一的 kernel 语言挺有看点的。问题仅在于……为什么?究竟是现有工具没能解决什么痛点,才促使他们自己又造了一套?o.O

Open-Adhesiveness-86 (⬆6):选择 OpenCL 主要是受驱动的现实情况所迫。Adreno 的 OpenCL 支持将权重常驻在纹理内存(texture memory)中,并能以很低的开销执行带 fp32 累加的 fp16 计算;而 Mali 各代硬件对 Vulkan subgroup/coopmat 的支持至今依然像抽奖一样不稳定。缺点是 libOpenCL.so 从来都不是 NDK 标准库,你只能通过 dlopen 加载它,在某些设备上它甚至根本不存在,所以才需要回退(fallback)到 GLES。

GradatimRecovery (⬆6):litert 简直神了。edge gallery 上的 e4b/e2b 在 iOS 上堪称最强。

pmttyji(楼主) (⬆8):并不是。它更适合边缘设备。