跳转到内容
主站 新闻 控制台

Qwen3.8-27B:R9700 达 159 tok/s,Strix Halo 达 64 tok/s

· Reddit · r/LocalLLaMA
Reddit

LemonSeed Studio 是一款支持通过雷电(Thunderbolt)显卡扩展坞连接 AMD GPU 进行设备端推理的 iPad 编辑器/IDE。它将未经修改的上游 Linux amdgpu + amdkfd 驱动程序(mac_linuxgpu)作为 PCIDriverKit 扩展嵌入,并在 GPU 上运行 LemonSeed Engine (LSE)。图中展示的配置为:iPad Pro + 蓝宝石 Radeon AI PRO R9700,运行 Qwen3.8-27B Q4 模型,搭配 Q8 DFlash2 草稿模型(draft),上下文长度为 131k。

LSE 在所有平台(Linux、macOS 和 iPadOS)上使用完全相同的引擎。它将模型的前向传播(forward pass)记录为计算图,执行算子融合(op fusion),并为当前所在的 GPU 生成核函数(kernels)。当某个算子核函数存在多种内存布局(layout)时,它会在设备上分别进行实测并保留速度最快的一种。投机解码(Speculative Decoding,支持 MTP 和 DFlash2)会根据实测的接受率与开销,动态决定验证多少个草稿 token。

解码速度(Decode,代码提示词,Qwen3.8-27B Q4,基线 / MTP=3 / DFlash2,单位:tok/s):

  • iPadOS 上的 R9700(LemonSeed Studio):31.2 / 108.7 / 158.5

  • macOS 上的 R9700:32.2 / 111.9 / 159.4

  • Linux 上的 R9700:32.0 / 111.0 / 144.6

  • Linux 上的 Strix Halo(Radeon 8060S):14.0 / 47.8 / 64.4

4K token 下的预填充(Prefill)速度:1,636(iPadOS)、1,634(macOS)、1,418(Linux R9700)、517(Strix Halo)。在 32K token 下依然表现稳健:1,395 / 1,401 / 1,226 / 462。

0.5.8 版本更新:

  • 默认启用 DFlash2 草稿树(draft trees):当实测证明树状结构比链状结构更快时,单次目标模型前向传播即可验证整棵候选草稿树
  • Strix Halo (gfx1151) 预填充与解码优化:融合 gate/up GEMM,在预填充注意力计算中每个工作组(workgroup)分配两个 query tile
  • 修复了一处 GPU 启动故障
  • Linux 归档包自带 HSA 运行时,因此只需具备带 /dev/kfd 访问权限的 amdgpu 驱动即可
  • lse-server models / pull:可直接拉取 Hugging Face 模型及其配套的 MTP 或 DFlash2 草稿模型

提供兼容 OpenAI 接口的服务器、CLI 命令行工具以及 C 语言库(libLSE)。

Engine: https://github.com/Geramy/LSE

Studio: https://github.com/Geramy/LemonSeed-Studio

很乐意解答大家的问题,尤其是关于如何在 iPadOS 上驱动 eGPU 的相关细节。

热门讨论

harrro (⬆49):今天才知道 iPad 居然能外接桌面级 GPU……非常惊艳的项目。 TheOriginalG2 (OP) (⬆5):多谢! t-i-m-o-t-h-y (⬆17):我想问一个关于在 iPadOS 上跑通 eGPU 的问题……到底是怎么做到的?! TheOriginalG2 (OP) (⬆20):哈哈,搞一个 Apple 开发者账号,申请 DriverKit 开发权限(这个是秒批的),然后编译并本地部署到你已签名的 iPad 上就行了,哈哈。 TheOriginalG2 (OP) (⬆5):最初只是把 amdgpu 移植到了 Mac 上,搞定之后我转为通过垫片层(shim)封装 Linux,这样我就不用去维护 amdgpu 及其附带软件了。多亏一位同事提醒我这样做才是更好的方案,之后事情就变得非常简单了,因为我手头已经有最初移植时搭建的框架。现在其他人也可以在这个垫片层的基础上添砖加瓦,把更多东西移植到 Mac 上。 feelspeaceman (⬆4):太棒了,gufo 也支持以 40 t/s 运行 Q38-27-Q8,预填充速度为 600-700 t/s,尽管还不是最优状态但也相当好用了。毕竟除非有特殊原因,否则无论如何 Q38FN 都是 Strix Halo 的首选模型。编辑:手误打错了,是 Q38-27-Q4。 TheOriginalG2 (OP) (⬆1):我还没测过,我不怎么用 gufo。 TheOriginalG2 (OP) (⬆1):是的,那是个非常出色的模型,Q4 和 Q6 通常是我的首选,而且现在这还只是第一轮优化。