コンテンツにスキップ
メインサイト ニュース コンソール

NVIDIA Nemotron Bolt 3.5 74B A9B、10月15日にリリースへ

· Reddit · r/LocalLLaMA 翻訳済
Reddit

本モデルは、総パラメータ数 740 億(74B)、アクティブパラメータ数 90 億(9B)の Mixture of Experts(MoE)モデルです。高度な量子化対応学習(quantization-aware training)技術により 2-bit に量子化され、モデル品質を維持しながら 24GB まで圧縮されています。速度と精度の最適なバランスを目指して設計されており、同等の VRAM 使用量において、主要な大半の高密度モデル(Dense モデル)よりも高速でありながら、主要な大半の MoE モデルよりも賢いパフォーマンスを発揮します。

Nemotron 3.5 Bolt E4B 4GB は 10 月 23 日にリリース予定

補足情報

注目の議論

beneath_steel_sky (⬆69):llama.cpp の対応 PR: https://github.com/ggml-org/llama.cpp/pull/30520 jacek2023 (⬆31):Day 0 サポート(即日対応)がもうすぐ来るぞ Harley-Riders (⬆27):そろそろ deepseek-ai/DeepSeek-V4.1-Flash をサポートしてほしいところだな。もう丸一か月も経ってるのに。なぜ新モデルのサポートが追加されるたび、いつも MTP(マルチトークン予測)に対応してないんだ?そろそろ別のツールに乗り換える潮時かもな。 Ok_Mammoth589 (⬆27):Hugging Face なんて所詮しがないスタートアップだし、彼らの LLM 実行用プロダクトで本当にまともにモデルが動くなんて期待しちゃいけないよ。 Embarrassed_Adagio28 (⬆144):NVIDIA はこれまで本当に使い勝手の良いモデルを一つも出してないことを考えると、あまり期待はできないな。 JoeyDee86 (⬆102):それは NVIDIA が説明しているモデルの用途をちゃんと読もうとする人がほとんどいないからだよ。これらは言わば「キャンバス」として構築されていて、LoRA こそがその真骨頂なんだ。NVIDIA の GPU を持っていれば誰でも自分でファインチューニングできる。 Constant-Simple-1234 (⬆65):その通り。モデルのオープン性に対する NVIDIA の姿勢もリスペクトに値するよ。 Thrumpwart (⬆24):認識が間違ってたら指摘してほしいんだけど、Nemotron シリーズのモデルって、ユーザーがそれぞれのユースケースに合わせてファインチューニングするためのベースモデル(Base models)としてアピールされてるんじゃなかったっけ?