コンテンツにスキップ
メインサイト ニュース コンソール

unsloth/DeepSeek-V4.1-Flash-1017-GGUF · Hugging Face

· Reddit · r/LocalLLaMA 翻訳済
Reddit

https://unsloth.ai/docs/models/deepseek-v4.1-flash

注目のディスカッション

voogamer (⬆113):うわぁ、これマジで……デカすぎる。 MundanePercentage674 (スレ主) (⬆65):Engram テーブルサイズ(Engram Table Size)だけで 196B~198B ある点に注意してください。 ForsookComparison (⬆39):「Flash」というサフィックスを使い続けているということは、「Pro」版はまだ開発中/調整中ということですね。 NoFunk (⬆23):昨晩 MacBook に ds4 向けバージョン(https://huggingface.co/nazeshinjite/DeepSeek-V4.1-Flash-1017-ds4-GGUF)をダウンロードし、ビジョンタワー(vision tower)対応の ds4 マイクロパッチを適用して、自作の Godot アーケードゲームフレームワークに組み込んで一晩中動かしてみました。エラーも無限ループも一切起きず、完全に問題なく動作しました。ツール呼び出しも適切に行われています。M5 Max では動作がかなり遅いですが(約 15 t/s)、engram やコールドエキスパート(cold experts)を SSD に退避・スワップインする必要があるため、以前からこの速度でした。128GB のユニファイドメモリで 366GB のモデルを動かしているわけですから BeginningFew639 (⬆53):たった 7GB しか違わないの?マジで? Confident-Willow5457 (⬆45):Unsloth の命名規則に従えば確かにその通りです。以前の DeepSeek V4 シリーズもそうでした。DeepSeek V4 自体はネイティブで 4-bit 精度ですが、Unsloth はここで UD-Q8_K_XL を用いてモデルの全重みがネイティブ/ロスレス精度を維持していることを示し、UD-Q4_K_XL は一部のテンソルを BF16 から Q8_0 に量子化したものになっています。 tomz17 (⬆36):自分で自分の首を絞めている、最高に愚かなネーミングルールだな…… PermanentLiminality (⬆25):0.2 bit が必要だ。