世間が 3.8 で盛り上がっているのは分かりますが、正直なところ私はまだ 3.6 を使い込んでいます。それに 3.8 の話し方がどうも好きになれなくて、それで……
オープンソースが一体何の役に立つのかという議論をあちこちの投稿で見かけるので、この投稿で私なりの答えを出してみたいと思います。
Qwen 3.5 27B は私にとって最初の自律型エージェント(Agent)で、この探求の旅は 5 月 31 日頃に始まりました。この 4 か月余りで本当に多くのことを学んだので、これから始める方々に向けてシェアしたいと思います。最近は明らかに新規ユーザーが増えており、助けを求めているものの、質問するのをためらっていたり、何を聞けばいいのか分からなかったりする人も多いようです。そこで、あなたの力になる「知っておくべき 10 のこと」をまとめました!
(そうそう、llama.cpp の使用をおすすめします。本記事で紹介するノウハウはすべてこれを使って実現しています)
1. 自分専用のちょっとした便利アプリを作る
Qwen はさまざまなニーズに応じたアプリケーションを作成するのが非常に得意です。私は現在、メモ帳の代替として自作したアプリでこの記事を書いています。フルテキスト処理機能、サイドバー、ライト/ダークモードなどを備えています(下図参照)。何かしらの課題に直面したとき、まず考えるべきは「アプリを作ってこれを簡略化できないか?」ということです。大抵の場合、その答えは**「できる」**です。
2. 自分専用のチャット UI フロントエンドを作る
自分にクリエイティビティがないと思うなら、既存のものをそのまま真似すれば問題ありません。大規模言語モデル(LLM)は極めて優秀な模倣者です。私は Claude が好きなので、そのインターフェースをそのまま自分用のフロントエンドとして再現し、個人のニーズに合わせてカスタマイズしました。
3. ReAct ループを構築する
これは、モデルがツールを呼び出し、結果を読み取り、再度ツールを呼び出す(これを何度も繰り返す)ための仕組みです。Qwen なら目を瞑っていても書けるレベルですし、さまざまなアプローチで実装可能です。必要な場所どこにでもループを作成できます。自分好みにカスタマイズしたチャット UI フロントエンドを作るなら、間違いなく必要になります。
4. MCP ツールの自作
これは私の一番のお気に入りです。Qwen は、必要となるほぼすべての種類の MCP(Model Context Protocol)ツールを書いてくれます。セキュリティ的に不安が残るサードパーティ製のツールを使う必要はありません。「○○をするための MCP ツールが必要だ」と伝えるだけで、コードを出力してくれます。独立した MCP サーバーが必要な場合とそうでない場合がありますが、サーバーが必要になったとしても Qwen がサーバー側のコードまで仕上げてくれます。
5. サブエージェント(Sub-agents)の生成
これも Qwen なら朝飯前です。サブエージェント生成スクリプト(本質的にはただの Python ファイル)を作らせるだけです。あとはサブエージェントが必要になったときにそのファイルを実行させるか、オンデマンドでいつでも生成できる MCP ツールを作らせればいいのです。実にシンプルです。ちなみに、ちょっとしたテクニックをシェアすると、MCP ツールはコンテキストを大量に消費します。そこで裏技として、独立したコンテキスト制限を持つサブエージェントを立ち上げ、メインエージェントからタスクを委譲させる方法があります。これだけで、実質的にコンテキスト制限を 2 倍、3 倍、あるいはそれ以上に拡張できます。もちろんマルチターンの会話間でコンテキストを保持することも可能ですが、それにはパイプラインランナー(Pipeline Runner、後述)を作成する必要があります。
6. パイプラインランナー(Pipeline Runner)の構築
n8n を聞いたことがありますか?要するにパイプラインランナーの一種です。多機能ですが制限や制約もあり、やりたくてもできないことがいくつかありました。しかし、Qwen を使えば同じようなツールが驚くほど簡単に作れることに気づいたのです。フロントエンドの UI を用意するなら多少のデザイン作業は必要ですが、十分に実現可能です。私は最初自分で UI を作っていましたが、しばらくすると手を加えるのが面倒になり、結局 n8n のフロントエンドを丸ごと真似して自分用にカスタマイズしました(笑)。もう一つの実践的なヒント:パイプラインランナー内で複数のエージェントを順番に実行できますが、それぞれに独立したコンテキストを持たせたい場合は、llama.cpp で cache-idle-slots を有効にしておく必要があります。これによりターンごとに KV キャッシュ(KV Cache)が切り替わり、直前のキャッシュがメインメモリ(CPU RAM)に退避されます。細かい設定はいくつかありますが、すべて Qwen に聞けば解決してくれます。
何度かカスタム UI を試作した後、最終的に n8n の見た目をそのままクローンして独自バージョンを作ることにしました。
7. モデルランチャーの構築(llama.cpp でのモデルや Jinja テンプレートの切り替えに対応)
これは私の日々の運用の要(かなめ)となっているものです。ディレクトリ内の任意のモデルを選択し、パラメータを設定できるランチャーです。パラメータの調整に納得がいったら、エイリアス(Alias)を作成します。次回起動時はそのエイリアスを選択するだけで、設定済みのパラメータで厳密にモデルが立ち上がります。そのため、同じモデルであっても必要に応じて 10 通りの異なるパラメータ構成を持たせることができ、それぞれにエイリアスを割り当てるだけで済みます。役立つヒント:ランチャーに Jinja テンプレートの選択機能も組み込むことをおすすめします。そうすれば、モデルのタイプに応じて異なるカスタムテンプレートを適用できます。
モデルタイプごとにカスタム Jinja テンプレートを作成しました。
8. ネット上のオープンソースアプリのインストール、テスト、フォーク(Fork)、再ビルド
私が llama.cpp に乗り換えた理由は、LM Studio の推論速度が遅すぎたからです。とはいえ一連のインストール手順を自力で把握するのも面倒だったので、エージェントに llama.cpp のダウンロードとセットアップを丸投げしました。それ以来ずっと愛用しています。エージェントはビルドの修正や GitHub リポジトリのフォークなどもこなせます。例えば以前、別プロジェクトで忙しかったときに新しい音声合成(TTS)アプリの話を耳にしました。そこでエージェントに Moss と OmniVoice をダウンロード&インストールさせ、正常に動作するか音声クリップをいくつか生成してテストさせ、完了したら通知するように指示しました。当然、すべて完璧に動作しました。マルチタスクの並行処理には最適です。
9. エージェントに「時間」と「周囲の環境」を認識させる
現在の日付について言い争ってくるクラウド型のモデルに遭遇したことはありませんか?あるいは、コンテキスト制限の上限に近づいたことをモデル自身が察知し、自発的に会話の要約を作成し始めてほしいと思ったことはないでしょうか?これを実現するには、セッション開始時や毎ターンの会話時(理想は両方)にエージェントへ「メタデータ(Metadata)」を注入します。日付、時刻、現在のコンテキスト長、最大コンテキストサイズ、ハードウェア/ソフトウェア環境など、与えたい情報を何でも渡すことができます。
これを取り入れると、さまざまな応用技が可能になります。例えば(これも「Qwen でできること」として独立した 1 項目にしてもいいくらいですが)、私はコンテキスト上限に達した際に、エージェントが自動的に実行モデルを切り替えるようにしています。
バックアップ用のモデルを用意した状態でセッションを開始できます。エージェントは常に現在のコンテキスト消費量を把握しているため、消費量が規定値を超えると、より大きなコンテキストを持つバックアップモデルへと自律的に切り替わります——サーバーを再起動する必要は一切ありません。
10. 起動時に即座に読み込まれる「記憶」を持たせる
私のエージェントは、セッション終了時に必ず話し合った内容の要約を作成します。起動スクリプトやランチャーを使い、起動時にさまざまなデータソースをコンテキストへ連結(結合)して読み込ませることができます。例えば私のコードでは、起動時に常に最新日付のセッション要約と前日の要約をロードするため、直近で起きた出来事の全体像を把握した状態でスタートできます。追加したいドキュメントがあれば何でも拡張可能で、アイデア次第でどこまでも応用が利きます。例えば私のエージェントは、リマインダーや前のセッションの終わりに残した「自己振り返り」もロードしていました(ただし、現在は振り返りを保持することは推奨していません。コンテキスト汚染の原因になることに気づいたためですが、これについてはまた別の機会にお話しします)。
おまけ:(書き終える直前になって思い出しましたが、正直これが最も重要な要素の一つだと思うので触れておきます)——独自のテスト/実行フレームワーク(Harness)の構築。世間では Pi や Hermes などが話題になっていますが、私は Qwen を使って自分専用のフレームワークを構築することにしました。手間は増えますが、得られるリターンは遥かに大きいです。システムが裏でどう動いているかを深く理解でき、その知識を活かして真にユニークな独自の解決策を生み出せるようになるからです。例えば、プロキシ(Proxy)の使い方を理解した瞬間から、コンテキスト圧縮、履歴改変、データクレンジング、Jinja テンプレートのハック、フック(Hooks)などを駆使して、あらゆるクールな機能を実現する方法を思いつくようになりました。
長くなりましたが、これらが初心者の方々にとって少しでもヒントになれば幸いです。基礎となる低レイヤーから学び始めることを強くおすすめします。その方がスキルの上達が圧倒的に速いからです。できるだけ早く Qwen にウェブツールを実行できる環境を与えてあげてください。そうすれば、あなたの代わりにリサーチを行い、強力なサポート役となってくれるはずです。
他にも試行錯誤して見つけたノウハウは山ほどあるので、また別の投稿で紹介するかもしれませんが、まずは上記の内容を動かせるようになれば、すでに正しい軌道に乗っていると言えます。それでは、幸運を!
Grunge
追記:私は昔ながらの掲示板や DeviantArt 時代を通過してきた人間なので、Ctrl+B/I/U や Shift+L を多用して書式を整える癖があり、このような太字をふんだんに使ったスタイルの文章を 20 年以上書き続けています。100% 人手によるタイピングです。気になる方のために、投稿の最後に証拠資料を添付しておきます。わざわざ断りを入れるのは、構造が整いすぎている文章を見ると「AI 生成のゴミテキストだ」と騒ぎ立てるアンチが必ず現れるからです。
注目の議論
suprjami (⬆89): わざわざ断りを入れるのは、構造が整いすぎている文章を見ると「AI 生成のゴミテキストだ」と騒ぎ立てるアンチが必ず現れるからです GrungeWerX (スレ主) (⬆22): お気持ちはよく分かります。だからこそ、気づいたときには大抵こうして免責事項を添えるようにしているんです