中国企業の Tencent は本日、オープンウェイトのテキスト入力専用（ビジョン入力には非対応）LLM「Hy4 Preview」を発表しました。総パラメータ数は 7,700 億、アクティブパラメータ数は 490 億で、100 万トークンのコンテキストウィンドウに対応しています。モデルのサイズは Hugging Face 上で 1.56 TB です。
7 月にリリースされた従来の Hy3 と比べると、今回のモデルは規模が大幅に拡大しています。Hy3 の総パラメータ数は 2,950 億、アクティブパラメータ数は 210 億、コンテキストウィンドウは 256,000 トークン、モデルサイズは 598 GB でした。
私は最近、モデルの能力をより深く理解するために、モデルのチャットテンプレート（chat template）を調べ始めました。以下は、Hugging Face にある Hy4 の chat_template.jinja の一部です。
{%- if not reasoning_effort is defined %} {%- set reasoning_effort = 'high' %}{%- elif reasoning_effort not in ['high', 'no_think'] %} {%- if reasoning_effort is none %} {{- raise_exception('reasoning_effort error : None, should be no_think/high') }} {%- else %} {{- raise_exception('reasoning_effort error : ' + reasoning_effort + ', should be no_think/high') }} {%- endif %}{%- endif %}つまり、推論の強度は「high」（デフォルト）と「no_think」（推論を無効化）の 2 段階 בלבדであるようです。
デフォルトの高強度推論を使用し、OpenRouter 経由で「自転車に乗るペリカンの SVG を生成して」というプロンプトを試したところ、以下の結果 が得られました。
その推論過程から引用します。
[…] ヘルメットを加えてもいいかもしれない？ そうすれば自転車に乗っていることがより強調されるけれど、頭部が隠れてしまう可能性がある。小さなサイクリングキャップやヘルメットを加えるのはどうだろう？ ユーザーからの指定はないが、赤いヘルメットを加えるとかわいらしくなるかもしれない。ただ、ペリカンのくちばしはとても大きいので、ヘルメットで隠れてしまう可能性がある。やはり、加えないほうがよさそうだ。
サングラスを加えてもいいかもしれない？ いや、やめておこう。
水を少し加えてもいいかもしれない？ いや、やめておこう。
興味深いことに、この推論過程では、やや不完全な英語表現が使われています。これは、非表示の推論テキストにとって完璧な文法には実用的な価値がなく、むしろトークンを浪費してしまうためだと考えられます。