跳转到内容
主站 新闻 控制台

为 10 人初创团队搭建 4x R9700 配置

· Reddit · r/LocalLLaMA
Reddit

简单分享一个我正在给客户做的装机方案。

1.8 万美元。

配置规格:

Threadripper 9970x

128GB DDR5 ECC 5600

4x AMD Radeon R9700 AI Pro 32GB(总显存 128GB)

1600W 电源(GPU 均已降压,单卡功耗低于 210W)

推理引擎:使用 Radiance 的分支版本(fork)来运行 Qwen 3.8 Next flash/27b 和 DSV4 Flash

测试结果:

16 个并发会话

Qwen 3.8 27b MXFP4

6.3k - 6.8k 聚合预填充(prefill)token/s

900 token/s - 80 token/s 聚合解码(decode)(各自上下文范围:4k - 128k)

Qwen 3.8 Next flash

48K/用户 | 6,880 token/s | 538.5 token/s 聚合预填充/解码

128k/用户 | 3,050 token/s | 365 token/s 聚合预填充/解码

全部采用 BF16 KV 缓存(KV Cache)。

热门讨论

MurmurRunner (⬆167):我感觉 OpenAI 和 Anthropic 的大势已去了。这已经是我见过的第 5 个初创公司采用本地模型的装机方案了。 ang3l12 (⬆83):其实也就是从今年 8 月份开始,本地模型才真正做到了既足够轻量又足够聪明,让小型企业觉得物有所值。我当时就是用 Qwen 3.8 27b 向管理层证明了我们可以为大多数用户运行本地模型。等到硬件到货的时候,glm 5.3 flash 和 Qwen 3.8 flash next 进一步印证了我们的想法,让我们采购 4 张 Spark 和 2 张 R9700 显卡的操作变得物超所值。 CatalyticDragon (⬆37):别轻视在推理评估框架与配套工具(harnesses)上投入的精力。如果没有这些,这些模型根本不可能具备这么强的竞争力。 mohelgamal (⬆23):这种说法大家已经念叨很久了。但即便模型性能打平(目前还没达到),大公司依然拥有规模效应,以及庞大的低频 AI 用户群——对他们来说,每月付 20 美元远比直接砸 2 万美元搭建本地硬件来得划算。这与 AI 出现之前云计算之所以能兴起是同一个道理:企业永远可以自己买服务器运行,但云计算提供了规模经济,并能让开销灵活匹配实际需求。 sleight42 (⬆57):哈。按 16 个用户来算,差不多要 5.75 年才能回本吧。数据隐私是那边的核心考量吗? sayamss (楼主) (⬆9):其实只要 9 个月。 mohelgamal (⬆34):过个两三年,这些初创公司里有 99% 都会重蹈以往初创企业的覆辙(走向倒闭),到时候所有这些硬件都得在 eBay 上等着我去捡漏。 sayamss (楼主) (⬆22):1.8 万美元。