跳转到内容
主站 新闻 控制台

NVIDIA Nemotron Bolt 3.5 74B A9B 将于 10 月 15 日发布

· Reddit · r/LocalLLaMA
Reddit

该模型是一个拥有 740 亿(74B)参数、激活参数为 90 亿(9B)的混合专家(MoE)模型,通过先进的量化感知训练(quantization-aware training)技术进行 2-bit 量化,压缩至 24GB 以保证模型质量。其旨在实现速度与智能之间的最佳平衡,在相似显存占用的情况下,比大多数主流稠密模型(dense models)更快,同时比大多数主流 MoE 模型更智能。

Nemotron 3.5 Bolt E4B 4GB 将于 10 月 23 日发布

补充细节

热门讨论

beneath_steel_sky (⬆69):llama.cpp 支持 https://github.com/ggml-org/llama.cpp/pull/30520 jacek2023 (⬆31):首发即支持(Day 0 support)马上就来 Harley-Riders (⬆27):他们现在真该支持 deepseek-ai/DeepSeek-V4.1-Flash 了——都已经过去整整一个月了。为什么每次新模型上线支持时总是不带 MTP(多 token 预测)?是时候换工具了。 Ok_Mammoth589 (⬆27):Huggingface 不过是个穷初创公司,你可不能指望他们用来跑大语言模型的产品真能把模型跑起来。 Embarrassed_Adagio28 (⬆144):鉴于英伟达(NVIDIA)迄今为止还没发布过任何一个真正好用的模型,我对此不抱太大希望。 JoeyDee86 (⬆102):那是因为几乎没人愿意去仔细看英伟达说明的模型用途。它们是作为一块“画布”构建的——LoRA 才是其真正的核心意义,任何拥有英伟达显卡的人都可以自己进行微调。 Constant-Simple-1234 (⬆65):没错,英伟达在模型开放性上的态度也同样值得尊敬。 Thrumpwart (⬆24):如果我理解错了请纠正我,但 Nemotron 系列模型对外宣传的不就是作为基座模型(base models),供用户根据自身具体使用场景进行微调的吗?