自 c.ai 推出首个带幻觉(hallucination)的模型以来已经过去 4 年了,然而在大语言模型的灵动性/有趣的幻觉特性方面,我们目前的水平还远远不够。幸运的是,去年出现的新架构让拥有 10-16GB 显存(VRAM)的用户,能够通过 Kobold 或 LLAMA 运行支持高达 64k 上下文窗口(Context Windows)且具备可用性的模型。
硬件要求:10-16GB 显存 - 26-32GB 内存(RAM)。
评测维度:
- 速度:每秒生成 token 数是否至少达到 10 t/s。
- 连贯性:对话/独白/视角除了基础逻辑(机械感)或行为主义之外,在内在逻辑上是否说得通。
- 日语/巴西葡语/美式英语:能否处理/理解拼写错误、细微语义差异或尖锐措辞。
- 劣质套话(Slop Patterns):出现类似“拉出长长的阴影”(casting long shadows)到“散发着臭氧和焦糖味”(smells like ozone and burnt sugar)等陈词滥调的频率。
- MoE vs FULL:相较于完整稠密模型(Full),是否更倾向于选择混合专家模型(MoE)。
- 审查限制:所有这些模型即使面对极度不适/违禁(NSFL)话题,拒答率也基本为零或极低,无须担心。
- 指令/提示词工程:我在使用与不使用 Pandora 指令集的情况下均进行了测试,如果一个模型能够处理 23 条交织在一起的规则,那它就能应对任何任务,甚至根本不需要提示词。
旁注:我忽略了所有带有思维链(CoT)的模型,纯属浪费 token,速度更慢,完全不需要。只要提示词写得好,效果完全一样。量化版本选高于 Q_4_K 的就行,大小并不重要 ( ͡° ͜ʖ ͡°)。
美中不足:我在 70B、120B 和 300B 模型上针对动漫/漫画/电影/音乐做了一个小型知识测试,发现只有 200B 以上的模型才真正具备这类数据储备,哪怕是 120B 的模型也极少含有你感兴趣的影视动漫信息。但又有谁真能跑得动呢?
模型清单(由优到劣 / 原因):
- Gemma 4 26B-A4B:相当于 Qwen 35B-A3B,但在对话/独白、指令执行方面表现更好,稍显更聪明/精准,也更有趣。
- Qwen 3.6 35B-A3B (Abliterated):速度快、精准且相当有趣,但如果没有合适的指导性指令,可能会对之前的输入/输出格式/模式产生过拟合,或者由于指令问题而胡言乱语/提问过多。
- Gemma 4 Instruct 19B-A1B Heretic (Abliterated):相当于 26B-A4B,但稍微有些死板和平淡,不过依然保持了准确性与逻辑性。
- The Omega Directive 14B:遵从指令,套话频率低,文笔出色,但在填入一定上下文后,生成内容可能会变得套路化。
- GLM-4.7-Flash 31B-A3B (Abliterated):表现类似于 Qwen 35B-A3B,但更加直接,对细微语义/措辞的理解力略逊一筹。
- Qwen3 30B A1.5B 64K High Speed NEO MAX:基本上就是增强了推理能力的 35-A3B。
- MN CaptainErisNebula Chimera Heretic Uncensored 12B (Abliterated):表现挺奇怪的,有点急于一次性填满所有内容,套话满满,但它是所有模型中最主动的,不太容易陷入死循环,对话/独白不错,但不适合问答(Q&A)类角色。
- Mistral Nemo Instruct 2407 HERETIC HI Claude Opus 12B:表现尚可,套话似乎经过了合理的润色,但可能会对扮演视角产生过拟合,或者老想着撩你,不适合问答类角色。
- Gemma 3 12b GLM-4.7 Flash INSTRUCT Hybrid Heretic (Uncensored):角色扮演感很有趣,精准,但可能会对之前输入的格式/风格过拟合,频繁出现套话,或是缺乏幽默感/过于拘谨。
- Ministral Instruct 2512 Absolute Heresy 14B:Mistral 很不擅长遵从复杂规则(正则表达式、状态面板、指令、设定集/lorebook 等),或者总把 {{char}} 变成撩妹高手,讽刺的是,它在对话/独白/灵动性方面反而是最优秀的。
- GLM 4.6V Flash Hybrid ?B:类似 UD 版,但套话频率更低,拒答率甚至更少。
- GLM 4.6V Flash UD 9B:根据你设定的 {{char}} 性格,可能会显得有些机械/重复,并且喜欢问太多问题,尽管在遵循全部 PI 23 条规则 + 正则表达式指令方面精准度很高。
- Gemma 4 E4B UD:针对低配妥协之选,体积极小、速度快、精准且聪明,但很可能会自我重复/出现套话模式。
- LFM2 12B A1B SpeedDemon The Deckard II HERETIC (Uncensored):速度极快,准确度高且聪明,但缺乏滋味与灵气。
整体评价:GLM 往往偏向悲观且过于讲求逻辑;Qwen 往往好奇心过剩且喜欢使用华丽辞藻;Gemma 往往幽默且富有创意;Mistral 往往喜欢调情且细节具体得有些怪异;Llama 则往往充斥套话且容易被预测——无论微调版本是 Omega、Heretic、Deckard、Dark、Horror、RP 还是 Style 等,在它们所有的微调模型中普遍都存在这种情况。
运行设置:Kobold 无法直接加载这些模型,对于 QWEN 35B(20.6GB)和 GLM 31B(17.7GB)请使用 LLAMA。其他模型均以最快速度在 40-64k 上下文下运行——在 Kobold 中启用了 FlashAttention/FastFowarding/SWA/SmartCache + MMPROJ + TTS(如果有的话)。
已知但在测试后弃用的模型(原因要么是太慢/体积过大,要么是表现差,或者有更好的替代品):Mistral 24B、GPT 20B OSS、Kimi K2、Phi-4、Skyfall、DeepSeek、Cydonia、Magistry、Magnus Cydons 等。
未测试模型:Goetia 26B-A4B v1.7、Gemma 4 26B-A4B StyleTune V2、Promethean Dawn 26B-A4B 以及 Fenrir-X 26B-A4B。
如果我有 24GB 显存(例如 RTX 3090)呢?如果想选偏小一点的模型,可以尝试 Omega Darker Gaslight The Final Forgotten Fever Dream 24B、Qwen3 24B-A4B Freedom HQ Thinking Heretic NeoMAX-D_AU、Cydonia 24B、Magistry 24B、Magnus Cydons 24B、Erebus 12B Instruct 2608、Mistral RP 24B、DeepSeek 33B、Velvet Eclipse 2x12B 或 Velvet Eclipse 4x12B。
完
热门讨论
ttkciar (⬆37):我发现这篇帖子里有一些错误(也许是幻觉?)。比如,我根本找不到 Gemma-4-19B-A1B-it。我在 Hugging Face 上找到最接近的是 https://huggingface.co/potto007/gemma-4-19B-A4B-text-REAP-GGUF 。如果真有 19B-A1B 这个模型,我也想试试。楼主,你能核对一下或者修改一下帖子吗?
Manerfish (⬆23):为什么里面有一些老掉牙的模型和奇怪的微调版本,甚至还有一个是 DavidAU 做的,笑死。
Atretador (⬆18):这感觉就像你在网页上让 ChatGPT 给你推荐能跑的模型,然后它开始给你推一年前的老古董一样。
paq85 (⬆136):1. Qwen 3.8 27b。2. 根本没必要浪费时间 😅
tableball35 (⬆58):不过这篇帖子似乎更偏向于角色扮演(RP),而 Qwen 27B 并不擅长这个,所以才没收录吧。
Pyros-SD-Models (⬆14):Qwen 3.8 27B 针对 RP 有非常多堪称炸裂的神仙微调版,真的是炸裂级别的好。
dampflokfreund (⬆17):跑那个需要 24 GB 显存,不然速度就只有 1-5 token/s。敬谢不敏了。
Witty_Mycologist_995 (⬆13):如果你想要写作/角色扮演微调版,去试试 Drummer 系列模型,或者 StyleTune。