https://unsloth.ai/docs/models/deepseek-v4.1-flash
热门讨论
voogamer (⬆113):天哪,它真的太……大了。 MundanePercentage674 (楼主) (⬆65):请注意它的 Engram 表大小(Engram Table Size)就有 196B–198B。 ForsookComparison (⬆39):继续沿用“Flash”这个后缀,意味着“Pro”版还在打磨中。 NoFunk (⬆23):我昨晚在 MacBook 上下载了一个适用于 ds4 的版本(https://huggingface.co/nazeshinjite/DeepSeek-V4.1-Flash-1017-ds4-GGUF),打上了支持视觉塔(vision tower)的 ds4 微型补丁,然后挂在我自己写的 Godot 街机游戏框架上跑了一整夜,完全没出任何问题,没有报错也没有陷入死循环。该调用工具时就正常调用。在 M5 Max 上跑得挺慢的(约 15 t/s),但之前也是这个速度,毕竟 engram 和冷专家(cold experts)需要回退换入到 SSD。在 128GB 统一内存上运行一个 366GB 的模型 BeginningFew639 (⬆53):居然只差 7GB?真的假的? Confident-Willow5457 (⬆45):按 Unsloth 的命名规则来看确实如此。之前的 DeepSeek V4 系列也是这样。DeepSeek V4 本身就是原生 4-bit 精度,但 Unsloth 在这里用 UD-Q8_K_XL 代表该模型的所有权重均保持原生/无损精度,而 UD-Q4_K_XL 则是将部分张量从 BF16 量化为了 Q8_0。 tomz17 (⬆36):他们把自己套进去的最蠢命名方案…… PermanentLiminality (⬆25):我需要 0.2 bit。