我碰巧发现了这个项目。之前我运行 GLM-5.3-Flash 速度只有大约 10 tok/s,基本处于不可用的状态。换用 Maya 后,现在能跑到 30 tok/s 了。即使是在这么低的量化(quant)精度下,目前来看 GLM-5.3 的体验也比 Qwen 3.8 Flash Next 好得多。还在继续测试中。
这太令人兴奋了,它让许多人都能运行 GLM-5.3-Flash。
https://github.com/mw00/project-maya
Project Maya
在你自己的 GPU 上运行 3210 亿参数的 AI 模型
GLM-5.3-Flash,私密且快速 · 支持单张 NVIDIA GPU 或最多 16 张 · 支持 AMD 与 Windows(实验性) · 支持聊天、图像、兼容 OpenAI 与 Anthropic 的 API
这种体量的模型通常需要数据中心才能运行。而 Maya 可以在你现有的硬件上运行 GLM-5.3-Flash(zai-org 出品,MIT 许可证):总参数量 321B(3210 亿),每个 token 激活约 18B 参数,上下文长度最高可达 1M tokens。其推理引擎专门针对该模型量身打造。它会将对话中最常使用的专家网络(experts)保存在 GPU 显存中,次常用的留在内存(RAM)中,其余则放在 NVMe SSD 上,并在对话过程中动态调度迁移。它能检测评估你的 GPU、CPU、RAM 和 SSD 性能并进行针对性自适应调优。所有数据均在本地处理,绝不离开你的设备。
- 飞速:在四张 RTX 4090 上最高可达 118 tokens/s,在单张 RTX 5090 上可达 30+ tokens/s。下方附真实用户的实际测试数据。
- 贴近原版:Maya 自研的量化方案保留了 FP8 模型 97.7% 至 99.2% 的零样本(zero-shot)准确率。
- 无缝接入现有工具:兼容 OpenAI 和 Anthropic API 格式,支持工具调用(tool calls),可直接用于编程智能体(coding agents)。
- 开箱即用:提供基于浏览器的聊天界面与实时监控、图像输入、思考层级(thinking levels)调节,以及单条命令即可完成的极简部署。
热门讨论
mrgreatheart (⬆57):太棒了。这正是我升级到带 256GB 内存的 Epyc 处理器的原因。我太喜欢这波针对单一模型做高度优化的专用引擎潮流了。
JockY (⬆27):我一直在思考这个问题,从更普遍的意义上来说:既然我们现在能运行那些擅长长时程编程任务(long-horizon coding tasks)的模型,我发现我现在的软件技术栈全变成定制化的了——我几乎所有东西都在跑“自己”维护的 fork 分支。就在这个周末,我想在纯 CPU 环境下跑 embeddinggemma-2。我有一台配备 192 核的 9965,所以我让 omp 挂着 GLM 5.3 跑了一整夜,让它负责协调并执行一长串基准测试,通过不同策略调优一个运行 eg2 的自定义 embedding 服务,专供这个特定的服……
Solary_Kryptic (⬆18):大众还没跟上这波节奏,只是因为世界上只有极少数人买得起线程撕裂者(Threadripper),哈哈。
inthesearchof (楼主) (⬆5):确实,看 llama.cpp 优化热门开源模型的速度有多慢就知道,用起来感觉像 ollama 但还慢了 3 倍。我现在所有的模型都用自定义 fork 分支来跑,速度能提升 200% 到 300%。
inthesearchof (楼主) (⬆1):我之前跑的就是那个。我已经删掉了。我有 AVX-512。
inthesearchof (楼主) (⬆2):去看看 GitHub 吧,你这配置简直就是为它量身定做的。
ColoredTriangles (⬆38):> 单张 RTX 5090 上可达 30+ tokens/s。下方附真实用户的实际测试数据。 点进去一看:IQ2_S。你们这群人纯粹是在恶搞钓鱼吧?
bani (⬆17):版主到底什么时候才强制要求在帖子标题里标明量化精度(quants)啊?早就该这么做了。