c.ai がハルシネーション(hallucination)を持つ最初のモデルをリリースしてから4年が経ちましたが、LLMの生き生きとした表現力や、面白いハルシネーションの挙動という点では、現状のレベルはまだまだ理想には遠く及びません。幸いなことに、昨年登場した新しいアーキテクチャのおかげで、10〜16GB の VRAM を持つユーザーでも、Kobold や LLAMA を介して最大 64k のコンテキストウィンドウ(Context Windows)に対応した実用的なモデルを実行できるようになりました。
ハードウェア要件:10〜16GB VRAM - 26〜32GB RAM。
評価基準:
- 速度:トークン生成速度が最低でも 10 t/s に達しているか。
- 一貫性:対話/モノローグ/視点が、単なる機械的なロジックや行動主義にとどまらず、内面的なロジックとして筋が通っているか。
- 日本語/ブラジルポルトガル語/アメリカ英語:スペルミス、ニュアンスの差異、または攻撃的・鋭い表現を処理/理解できるか。
- スロップパターン(Slop Patterns):「長く伸びる影を落とし(casting long shadows)」から「オゾンと焦げた砂糖の匂いが漂う(smells like ozone and burnt sugar)」といった、陳腐な常套句の出現頻度。
- MoE vs FULL:高密度な単一モデル(Full)と比べて、混合エキスパートモデル(MoE)を選ぶ価値があるか。
- 検閲制限:過激・閲覧注意(NSFL)な話題であっても、ここに挙げたすべてのモデルで拒絶率はほぼゼロか極めて低いため、心配は不要。
- 指示/プロンプトエンジニアリング:Pandora 命令セットの適用・非適用の両方でテストを実施。複雑に絡み合った23個のルールを処理できるモデルであれば、どんなタスクにも対応可能であり、極論プロンプトすら不要。
追記:思考の連鎖(CoT)を持つモデルはすべて除外しました。トークンの無駄遣いで速度も遅く、まったく必要ありません。適切なプロンプトさえ書けば効果は同じです。量子化バージョンは Q_4_K 以上を選べば十分で、サイズは重要ではありません ( ͡° ͜ʖ ͡°)。
惜しい点:70B、120B、300B のモデルでアニメ/マンガ/映画/音楽に関する簡単な知識テストを行いましたが、この手のデータをまともに蓄積しているのは 200B 以上のモデルだけでした。120B のモデルですら、興味のある作品情報はほとんど含まれていません。とはいえ、そんなサイズをまともに動かせる人がどれだけいるでしょうか?
モデル一覧(高評価順 / 理由):
- Gemma 4 26B-A4B:Qwen 35B-A3B に匹敵するが、対話/モノローグ、指示追従の面でより優れており、少し賢く、正確で、面白い。
- Qwen 3.6 35B-A3B (Abliterated):高速かつ高精度でかなり面白いが、適切な誘導指示がないと、過去の入力/出力フォーマットやパターンに過学習したり、プロンプトの不備によって意味不明な出力をしたり、質問攻めにしてきたりすることがある。
- Gemma 4 Instruct 19B-A1B Heretic (Abliterated):26B-A4B に近いが、やや硬くて平坦。それでも正確さと論理性は維持されている。
- The Omega Directive 14B:指示に従い、スロップの頻度も低く、文章力も優秀。ただし、コンテキストがある程度溜まってくると、生成内容がパターン化しがち。
- GLM-4.7-Flash 31B-A3B (Abliterated):挙動は Qwen 35B-A3B に似ているが、よりストレート。細かいニュアンスや表現の理解力は一歩劣る。
- Qwen3 30B A1.5B 64K High Speed NEO MAX:基本的には 35-A3B の推論能力を強化したようなモデル。
- MN CaptainErisNebula Chimera Heretic Uncensored 12B (Abliterated):挙動がかなり奇妙。一度にすべてを詰め込もうとしてスロップだらけになるが、全モデルの中で最も自発的で、ループに陥りにくい。対話/モノローグは良いが、Q&A 形式のロールプレイには向かない。
- Mistral Nemo Instruct 2407 HERETIC HI Claude Opus 12B:悪くない出来。スロップも適切に洗練されている印象だが、キャラの視点に過学習しがちだったり、やたらと誘惑・口説きにかかってきたりする。Q&A 系の役には不向き。
- Gemma 3 12b GLM-4.7 Flash INSTRUCT Hybrid Heretic (Uncensored):ロールプレイ感は面白く高精度。ただし、過去の入力フォーマットや文体に過学習しやすく、スロップが頻発したり、ユーモアに欠けて硬すぎたりすることがある。
- Ministral Instruct 2512 Absolute Heresy 14B:Mistral 系は複雑なルール(正規表現、ステータス画面、指示、設定資料/lorebook など)に従うのが非常に苦手で、{{char}} をすぐに口説き魔に変えてしまう。皮肉なことに、対話/モノローグ/表現の豊かさの面では最も優れている。
- GLM 4.6V Flash Hybrid ?B:UD 版に似ているが、スロップの頻度がさらに低く、拒絶率もより少ない。
- GLM 4.6V Flash UD 9B:設定した {{char}} の性格によっては、やや機械的・反復的になりがちで、やたらと質問を返してくる。ただし、PI 23 ルールすべて+正規表現の指示に従う精度は非常に高い。
- Gemma 4 E4B UD:低スペック環境向けの妥協案。極小サイズで高速、高精度かつ賢いが、自己反復やスロップパターンに陥る可能性が高い。
- LFM2 12B A1B SpeedDemon The Deckard II HERETIC (Uncensored):圧倒的に速く、正確で賢いが、情緒や面白みに欠ける。
総評:GLM は悲観的で過度に理屈っぽい傾向があり、Qwen は好奇心が強すぎて大げさな表現を好む傾向があります。Gemma はユーモアがあり創造的、Mistral は口説きがちで細部が異様なほど具体的、Llama はスロップに溢れていて展開が予測しやすい傾向があります。これは Omega、Heretic、Deckard、Dark、Horror、RP、Style など、どのファインチューン版であっても共通して見られる特徴です。
実行環境・設定:Kobold ではこれらのモデルを直接ロードできないため、QWEN 35B(20.6GB)と GLM 31B(17.7GB)には LLAMA を使用してください。その他のモデルはすべて、40〜64k コンテキストで最速動作させています(Kobold 上で FlashAttention/FastFowarding/SWA/SmartCache + MMPROJ + TTS(対応している場合)を有効化)。
テスト後に見送った既知モデル(遅すぎる/重すぎる、パフォーマンスが悪い、または上位互換が存在するため):Mistral 24B、GPT 20B OSS、Kimi K2、Phi-4、Skyfall、DeepSeek、Cydonia、Magistry、Magnus Cydons など。
未テストのモデル:Goetia 26B-A4B v1.7、Gemma 4 26B-A4B StyleTune V2、Promethean Dawn 26B-A4B、Fenrir-X 26B-A4B。
24GB VRAM(RTX 3090 など)がある場合は?:少し小さめのモデルを選ぶなら、Omega Darker Gaslight The Final Forgotten Fever Dream 24B、Qwen3 24B-A4B Freedom HQ Thinking Heretic NeoMAX-D_AU、Cydonia 24B、Magistry 24B、Magnus Cydons 24B、Erebus 12B Instruct 2608、Mistral RP 24B、DeepSeek 33B、Velvet Eclipse 2x12B、Velvet Eclipse 4x12B などを試してみると良いでしょう。
以上
注目のコメント
ttkciar (⬆37):この投稿、いくつか間違い(もしかしてハルシネーション?)がある気がする。例えば、Gemma-4-19B-A1B-it なんてモデルはどこを探しても見つからない。Hugging Face で一番近かったのは https://huggingface.co/potto007/gemma-4-19B-A4B-text-REAP-GGUF だった。もし本当に 19B-A1B が存在するなら試してみたいんだけど。主さん、確認して投稿を修正してくれない?
Manerfish (⬆23):なんでこんな大昔のモデルや奇妙なマージ/ファインチューン版が混ざってるんだ? DavidAU 製のやつまであるじゃん、草。
Atretador (⬆18):ChatGPT の Web 版で「動かせるモデルを教えて」って聞いたら、1年前の化石みたいなモデルをおすすめされた時のような感覚。
paq85 (⬆136):1. Qwen 3.8 27b。2. 時間の無駄だからやめとけ 😅
tableball35 (⬆58):でもこの投稿はロールプレイ(RP)寄りの話みたいだし、Qwen 27B は RP が得意じゃないから除外されたんじゃない?
Pyros-SD-Models (⬆14):Qwen 3.8 27B には RP 向けにめちゃくちゃ化けた神ファインチューン版がたくさんあるぞ。ガチでヤバいレベルで良い。
dampflokfreund (⬆17):それを動かすには 24GB VRAM が必要だし、そうじゃないと速度が 1〜5 token/s まで落ちる。遠慮しとくよ。
Witty_Mycologist_995 (⬆13):執筆/ロールプレイ向けのファインチューンが欲しいなら、Drummer シリーズのモデルか StyleTune を試してみるといい。