跳转到内容
主站 新闻 控制台

72小时内4款重磅开源权重齐发,唯一能塞进24GB显存的,居然来自英伟达。

· Reddit · r/LocalLLaMA
Reddit

这周真是精彩。快速回顾一下,所有数据均来自官方仓库和模型卡片(Model Card):

周四:Meta 发布 Muse Spark Open。总参数量 816B,激活参数 42B,上下文窗口 1M。发布公告称它将智能体 AI(Agentic AI)“带到你的桌面上”。而这里的“桌面”指的是两台各配备 512GB 显存的 M5 Ultra Mac Studio——苹果称该配置要到“10 月下旬”才发货,且目前尚未公布售价。另一种选择是四台 256GB 的 Studio,总价约 3.8 万美元。此外,它采用的是自定义许可协议(License):强制标注“Built with Muse Spark Open”署名,且一旦营收超过 2000 万美元还需另行签署商业协议。而 Meta 官方的模型卡片显示,其在 Artificial Analysis 指数上的得分为 39,落后于 GLM 5.3(45 分)和 Kimi K3(44 分)。

同一天:NVIDIA 发布 Nemotron 3.5 Bolt。总参数量 74B,激活参数 9B,经过低至 2-bit 的量化感知训练(quantization-aware training),因此整个模型仅占 22GB,外加 1.7GB 的视觉投影层(vision projector)。专为塞进 24GB 显存而打造。首日即提供 Unsloth GGUF 格式,并支持 llama.cpp、Ollama 和 LM Studio。

周五:Reflection 终于正式发布了 Beam。总参数量 501B,激活参数 23B,采用 Apache 2.0 协议,毫无附加条件。官方最小的检查点(checkpoint)是 NVFP4 格式,体积为 294GB。

周六下午:DeepSeek 像发日常一样在 X 上随手发布了 V4.1 Flash 1017。采用 MIT 协议。他们自己的基准测试表格显示,其在 DeepSWE 上的得分为 77.0,而 Opus 5 为 74.0(官方厂商数据,仅供参考)。整个仓库大小为 510GB。

于是我把它们都放进了一张图表中,与我们大多数人所坚守的 24GB 显存红线进行对比。

我的几点感想:

  • “本地运行”现在正式演变成了“在一台比汽车还贵的电脑上运行”。
  • 一直在向我们兜售 24GB 显卡的那家公司,反而是本周唯一一家专门为 24GB 显卡打造模型的机构。不知道这算良心发现,还是又一个销售漏斗。
  • 相比参数量,本周开源许可协议的影响更为显著。DeepSeek 和 Reflection 给出了 MIT 和 Apache 2.0;而“开源”营销喊得最响的那家公司,却加上了强制署名以及收入分成条款。
  • Mistral 表示 Large 4 的权重(代号“Le Chonk”,总参数量 1T)将在月底前上线,看来 24GB 阵营马上要变得更加形单影只了。

热门讨论

Writer_IT (⬆56): 确实令人失望,但最终肯定会有新的中小型模型到来。距面向小显存 GPU 的 Qwen 3.8 27b 发布才过去几个月,还有“现实可行本地运行”范畴内绝对的猛兽 deepseekv4 flash vision。对于后者,老实说我真没发现它有什么搞不定的,包括写代码。仅仅一年的时间跨度里,技术进步就令人不可思议。超大模型依然对生态有益,它们迫使云服务提供商压低成本。

KontoOficjalneMR (⬆42): 此外它还是自定义协议:强制要求“Built with Muse Spark Open”署名,一旦营收超过 2000 万美元还要另外谈判。而且 Meta 自己的模型卡片将其在 Artificial Analysis 指数上的得分排在 39,落后于 GLM 5.3(45)和 Kimi K3(44)。

Moarkush (⬆158): “开放权重”(Open weight)从来都不等于“在本地硬件上运行”。开放权重意味着它不是专有封闭的,并不意味着“你能在一张游戏显卡上跑起来”。

theone_2099 (⬆39): 顺便提醒一下,“开放权重”(Open weight)和“开源”(Open source)是两码事。

615wonky (⬆87): 你们忽略了 LFM2.5-24B-A2B,真不该漏掉它。它的表现远超其参数规格应有的水准。https://huggingface.co/LiquidAI/LFM2.5-24B-A2B 我让它用 Python 写一个基-2 FFT(radix-2 FFT)实现,它一次就跑通了。就这个参数规模来说,它的代码能力绝对相当能打。

djc0 (⬆33): 顺便问一句,现实中真有人会说“表现远超其规格应有的水准(hits far harder than it has any right to)”这种话吗?还是说我们现在已经开始模仿我们的 AI 统治者了。

Acceptable_Push_2099 (⬆42): 它的激活参数和总参数都更少,KV 缓存(KV cache)也更小,而你觉得它比不久前在同等 MoE 体量下最强的模型还被高估了?

mitchins-au (⬆34): 看看他们对 ROCm 的支持程度,尤其是针对 Strix Halo 的支持,就不难理解他们为什么懒得折腾了。