コンテンツにスキップ
メインサイト ニュース コンソール

Hugging Face上の nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB

· Reddit · r/LocalLLaMA 翻訳済
Reddit

https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF

https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB は、日常的なエージェントタスク(agentic tasks)をローカル環境で実行することを目的として設計されたビジョン言語モデル(VLM)です。ネイティブ 2-bit 量子化を採用しており、24GB の VRAM に収まり、他のアプリケーションと並行して動作させることが可能です。本モデルは VRAM 1GB あたりの知能レベルと動作速度を最適化しており、速度と知能の最適なバランスを追求しています。同等の VRAM 占有率を持つ主流のデンスモデル(dense models)の多くよりも高速に動作し、同時に同等の占有率を持つ主流の MoE モデルの多くよりも優れた知能を発揮します。

本モデルは、商用・非商用問わずそのままご利用いただけます。

モデルサマリー (Model Summary)

総パラメータ数
74B(アクティブパラメータ 9B)

アーキテクチャ
C-RADIO v4-H ビジョンエンコーダ搭載 Mamba-2–Transformer ハイブリッド LatentMoE

精度
IQ2(量子化認識トレーニング QAT を適用した 2-bit 量子化)

コンテキスト長
最大 256K トークンをサポート

入力 / 出力
テキスト、画像、動画 / テキスト

デプロイ
24GB パッケージモデル。NVIDIA Ampere (A100)、Hopper (H100-80GB)、Blackwell アーキテクチャ上での vLLM によるデプロイをサポート

投機的デコード (Speculative Decoding)
DFlash ベースの LiLiCorr ドラフトモデル。付属の Bolt vLLM レシピにて 7 トークンの投機をサポート

推論モード (Reasoning Mode)
Chat テンプレートによる制御(enable_thinking=True/False)、Super 3.5 VL クライアントから継承

推奨サンプリングパラメータ
テキスト: temperature 1.0、top_p 0.95(Super 3.5 VL クライアントから継承)

最適なユースケース
ローカル環境での日常的なエージェントタスクの実行

ライセンス
OpenMDW-1.1

モデル概要 (Model Overview)

モデル開発元:NVIDIA Corporation

モデル開発期間:2025年12月 - 2026年5月

データの鮮度:

事後学習(Post-training)データのカットオフは 2026年5月です。

Nemotron とは?

NVIDIA Nemotron™ は、オープンウェイト、トレーニングデータ、およびレシピを提供するオープンモデルファミリーであり、高精度かつ高効率な専門 AI エージェントの構築を可能にします。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB は、日常的なエージェントタスクをローカルで実行するために設計されたビジョン言語モデル(VLM)です。24GB の VRAM に収めて他のアプリケーションと並行実行できるよう、ネイティブ 2-bit 量子化を採用しています。VRAM 1GB あたりの知能と速度を最適化し、速度と知能のベストバランスを追求しました。同等の VRAM フットプリントを持つ主流のデンスモデルよりも高速であり、同等のフットプリントを持つ主流の MoE モデルよりもスマートです。

本モデルは、商用・非商用を問わず直接利用可能です。

bolt!

注目のディスカッション

jacek2023 (スレ主) (⬆114):BF16 と 2-bit の比較(批判する前によく確認してほしい)
Thiom (⬆69):Qwen3.8 27B との比較を意図的に避けてないか? ちなみに煽りじゃなくて純粋な疑問ね。Qwen3.8 27B の Q4 量子化版なら 24GB の VRAM に余裕で収まるし、Nemotron を圧倒できるはずだから。
Artic_Temperature203 (⬆38):3.8 27B は MoE アーキテクチャじゃないからね。比較を見てみたい気持ちはわかるけど、彼らにミスリードを誘うような悪意があるとは思えないな。
Sea-Wind-2216 (⬆60):そもそもなんで MoE とデンスモデルを比較してるんだ?
ForsookComparison (⬆35):74B パラメータが QAT 量子化によってディスクサイズわずか 24GB に収まるのは純粋に信じられない技術だ。人によっては、これで Qwen3.6-35B をお役御免にできる期待の星になるかも。
nickm_27 (⬆23):素晴らしい。コーディング能力ばかりに極振り(codemaxxed)していないモデルが出てきてくれて嬉しいよ。自分のワークフローで古いモデルをリプレイスできるか試すのが楽しみだ。
MerePotato (⬆27):コンシューマー向けハードウェアで動かすなら、Qwen 3.8 27B を除けば最高のモデルだね。問題は 3.8 27B のせいで他のあらゆるモデルが霞んでしまうことだけど。ただ、VRAM が 24GB 未満のユーザーにとっては 3.8 27B より適しているかもしれない。3.8 27B を無理やり収めようとすると激しい量子化落ち(精度劣化)を受け入れる必要があるけど、このモデルならかなりのレイヤーをメインメモリへオフロード(offload)しつつ投機的デコード(spec decoding)を組み合わせることで、速度を大きく落とさずに運用できるからね。
Negative-Web8619 (⬆35):なんで 3.8 35b と比較しないわけ? 呆れるね(smh)