コンテンツにスキップ
メインサイト ニュース コンソール

視覚理解

視覚対応モデル(gpt-5.6fable-5omni-flash など)は、対話の中で画像を直接理解できます: content をマルチモーダル配列として記述し、textimage_url を混在させます。

リクエスト例

Terminal window
curl https://api.4allapi.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $AIPROXY_KEY" \
-d '{
"model": "omni-flash",
"messages": [{
"role": "user",
"content": [
{"type": "text", "text": "この請求書の金額と発行日は何ですか?"},
{"type": "image_url", "image_url": {"url": "https://example.com/invoice.jpg"}}
]
}]
}'

画像は base64 Data URL で埋め込むこともできます(社内ネットワークの画像に適しています):

{"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,/9j/4AAQ..."}}

代表的な利用シーン

  • 伝票 / 表 / スクリーンショットの構造化情報抽出(response_format と組み合わせて JSON 出力を強制);
  • EC 商品画像のタグ付けとコンプライアンス審査;
  • UI スクリーンショットのコード化、グラフデータの解釈;
  • 複数画像の比較:content 配列に複数の image_url を順に入れる。

注意事項

  • 画像は解像度に応じて token 課金されます。大きな画像は 2048px 以内に圧縮することを推奨します;
  • URL 方式では画像がインターネットからアクセス可能である必要があります。社内 / 一時画像には base64 を使用してください;
  • 動画コンテンツの理解には、動画入力に対応したモデルを使用し、そのモデルの説明を参照してください。