キャッシュ課金

GPT、Claude、Gemini シリーズはプロンプトキャッシュ(Prompt Caching)に対応しています: 繰り返し現れる長いプレフィックス(例: システムプロンプト、 長文書)がキャッシュにヒットすると、その部分の入力はキャッシュ倍率で割引課金され、レイテンシも大幅に低下します。

キャッシュにヒットさせる方法

• 固定で変わらない内容をメッセージの先頭に置く(system プロンプト、参考文書)；変化するユーザー入力は最後に置く;
• 短時間内に同じプレフィックスへ繰り返し呼び出せばヒットします。追加パラメータは不要です;
• プレフィックスには最小長のしきい値があります(通常約 1K token)。短すぎるとキャッシュは作成されません。

ヒット確認方法

レスポンス usage 内のキャッシュ関連フィールド:

{
  "usage": {
    "prompt_tokens": 5210,
    "completion_tokens": 84,
    "prompt_tokens_details": { "cached_tokens": 4864 }
  }
}

cached_tokens はキャッシュにヒットした入力部分を指し、この部分はキャッシュ倍率で課金されます(通常の入力単価より大幅に低い)、 それ以外の入力は標準単価で課金されます。各モデルのキャッシュ倍率は、コンソールのモデル広場の価格ラベルで確認できます。

節約の実践

• カスタマーサポート/Agent 系アプリでは、ツール定義とルールドキュメントをすべて前置きにすると、長い会話のコストを大きく下げられます;
• バッチ処理で同じ文書群に質問する場合は、文書ごとにグループ化して連続でリクエストを送り、ヒット率を高めます;
• コンソールの「ログ」で各呼び出しの実際の課金額を確認し、キャッシュが有効になっていることを検証します。