跳转到内容
主站 新闻 控制台

Hugging Face 上的 nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB

· Reddit · r/LocalLLaMA
Reddit

https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF

https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是一款视觉语言模型(VLM),旨在本地运行日常智能体任务(agentic tasks)。它采用原生 2-bit 量化,可装入 24GB 显存并与其他应用程序并行运行。该模型优化了每 GB 显存的智能水平与运行速度,力求在速度与智能之间取得最佳平衡:运行速度快于大多数同等显存占用的主流稠密模型(dense models),同时智能水平优于大多数同等显存占用的主流 MoE 模型。

该模型可直接用于商业或非商业用途。

模型摘要 (Model Summary)

总参数量
74B(激活参数 9B)

架构
搭载 C-RADIO v4-H 视觉编码器的 Mamba-2–Transformer 混合 LatentMoE

精度
IQ2(采用量化感知训练 QAT 的 2-bit 量化)

上下文长度
最高支持 256K tokens

输入 / 输出
文本、图像和视频 / 文本

部署
24GB 打包模型;支持在 NVIDIA Ampere (A100)、Hopper (H100-80GB) 或 Blackwell 架构上通过 vLLM 部署

推测解码 (Speculative Decoding)
基于 DFlash 的 LiLiCorr 草稿模型;配套的 Bolt vLLM 配方中支持 7 个推测 token

思考模式 (Reasoning Mode)
Chat 模板控制(enable_thinking=True/False),继承自 Super 3.5 VL 客户端

推荐采样参数
文本:temperature 1.0,top_p 0.95(继承自 Super 3.5 VL 客户端)

最佳适用场景
在本地运行日常智能体任务

许可证
OpenMDW-1.1

模型概览 (Model Overview)

模型开发者:NVIDIA Corporation

模型研发周期:2025 年 12 月 - 2026 年 5 月

数据新鲜度:

后训练数据截止日期为 2026 年 5 月。

什么是 Nemotron?

NVIDIA Nemotron™ 是一个开源模型家族,提供开放权重、训练数据和配方方案,为构建专业 AI 智能体提供领先的效率与精度。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是一款视觉语言模型(VLM),旨在本地运行日常智能体任务,采用原生 2-bit 量化以适配 24GB 显存并与其他应用程序并行运行。它优化了每 GB 显存的智能与速度,旨在速度与智能之间取得最佳平衡:比大多数同等显存占用的主流稠密模型更快,比同等显存占用的主流 MoE 模型更智能。

该模型可直接用于商业或非商业用途。

bolt!

热门讨论

jacek2023 (楼主) (⬆114):BF16 对比 2-bit(在你们开喷前先看看清楚)
Thiom (⬆69):故意不跟 Qwen3.8 27B 对比?顺便说一句这是真诚发问,因为 Qwen3.8 27B 的 Q4 量化版本能很轻松塞进 24GB 显存,而且能把 Nemotron 吊打
Artic_Temperature203 (⬆38):3.8 27B 不是 MoE 架构。我也很想看看对比结果,但我倒觉得他们在这里并没有存心误导。
Sea-Wind-2216 (⬆60):他们为什么要拿 MoE 和稠密模型比?
ForsookComparison (⬆35):74B 参数 QAT 量化后磁盘体积仅 24GB,确实不可思议。对某些人来说,它很有希望让 Qwen3.6-35B 退役了。
nickm_27 (⬆23):太棒了,很高兴看到又一款没有一味死磕代码能力(codemaxxed)的模型,很期待看它能否在我的工作流中替代旧模型。
MerePotato (⬆27):在消费级硬件上,它是除 Qwen 3.8 27B 之外最好的模型了,问题是 3.8 27B 让其他所有模型都显得平平无奇。不过对于显存不足 24GB 的用户来说,它可能比 3.8 27B 更合适——毕竟要把 3.8 27B 硬塞进去得承受不小的量化精度损伤,而这个模型可以把相当一部分层卸载(offload)到内存并配合推测解码(spec decoding),速度还不会受到太大影响。
Negative-Web8619 (⬆35):为什么不和 3.8 35b 比?真让人无语(smh)