ビデオ理解 API

Gemini シリーズはビデオ入力をサポートしており、内容要約、シーン認識、字幕抽出、時点指定の Q&A などができます。 ビデオ理解は Gemini ネイティブ呼び出し によるマルチモーダル入力で実現します。

呼び出し方法

ネイティブの generateContent インターフェースで、ビデオを inline_data(小さなファイルの base64) として渡します:

curl "https://api.4allapi.com/v1beta/models/gemini-3.5-flash:generateContent" \
  -H "Authorization: Bearer $AIPROXY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [{
      "parts": [
        {"inline_data": {"mime_type": "video/mp4", "data": "<base64 ビデオデータ>"}},
        {"text": "このビデオの主要内容を要約し、重要な時点を列挙してください"}
      ]
    }]
  }'

機能とシーン

• 内容要約: 長いビデオを要点リストに圧縮する;
• シーン/物体認識: “ビデオにはどのような商品が登場しますか?”;
• タイムライン Q&A: “何秒目から価格情報が出現しますか?”;
• コンプライアンス抽査: 素材に違反要素が含まれていないかを一括チェックする。

使用上のポイント

• ビデオはフレーム+音声で token に換算され、入力消費はテキストを大きく上回ります。長いビデオは先にトリミングするか、重要なクリップを抽出してください;
• base64 のインライン埋め込みは短いクリップに適しています(推奨 ≤20MB); より長いビデオは先に分割することを推奨します;
• まずは gemini-3.5-flash の使用を推奨し、複雑な分析には gemini-3.1-pro を使用してください;
• 画像理解(単一フレーム)のシーンでは、画像理解(画像認識) のほうがより効率的です。