2026年11月12日公開
- なぜ JSON を使わないのか?
- LLMON とチャットテンプレート(Chat Templates)の関係は?
- LLMON がプロンプトインジェクション攻撃にどう対処するか
- 汎用能力
- モデルのトレーニング方法
- 独自語彙の導入(ScienceWorld)
- 今すぐ試す
大規模言語モデル(LLM)は、次の一連のトークン(token)を生成するためにコンテキストに依存します。長い対話の履歴において、コンテキストはさまざまな種類のコンポーネントで埋め尽くされます。システムプロンプト(system prompt)、過去の対話ターン、検索されたドキュメントに作用する指示、ツールのレスポンスやユーザーデータ、許容される出力範囲を制限する要件、そして推論チェーンなどです。コンテキストは豊かな構造を持っていますが、その大部分はモデルにとって暗黙的であるか、あるいは LLM が処理するために設計されたわけではない JSON などのフォーマットでエンコードされています。これは、LLM(特にパラメータ規模の小さいモデル)の振る舞いが脆くなり、時には予期せぬ失敗を引き起こす主な原因の1つです。また、明示的な構造の欠如は、プロンプトインジェクション(prompt injections)攻撃を仕掛けるなど、攻撃者に悪用される可能性もあります。
この問題を解決するために、私たちは LLMON(LLM Object Notation、発音は「lemon」)を開発しました。これは、構造と意味の情報をモデルへ明示的に伝達することを目的とした、LLM ネイティブなマークアップ言語です。意味的にまとまりのあるコンポーネントは意味のあるタグでラベル付けされ、予約された特殊トークン(special-token)のデリミタで囲まれます。データスキーマ(Data schemas、ネストされた構造を含む)は、自己回帰型大規模言語モデル(causal LLM)にとって一切の曖昧さがない方法で宣言されます。一意の ID を通じて、モデルはコンテキスト内の任意の位置にある特定の指示を参照し、それを処理すべきデータペイロード(data payloads)とバインドすることができます。これは、プログラミング言語で関数を呼び出して引数を渡す方法に似ています。
本日、私たちは Granite 4.1 ベースモデルから派生した2つの実験的プレビューモデルをリリースします。これらは LLMON でマークアップされたテキストを理解・生成できるよう特別にトレーニングされています。granite-4.1-3b-LLMON-preview と granite-4.1-8b-LLMON-preview です。また同時に、LLMON を処理するためのツールキットや、ワークフローおよびテンプレートのサンプルを含む GitHub リポジトリもオープンソースとして公開しました。
*これにより実現できること: