マルチモーダル入力と理解
画像やファイルをモデルへの入力として使用し、テキストによる分析結果を取得します。
概要
マルチモーダル理解では、画像やファイルを入力として使用し、モデルに質問への回答、内容の比較、情報の抽出を行わせます。これは画像、動画、音声の生成とは異なります。理解タスクはメディアを読み取り、生成タスクはメディアを作成します。
主な用途
| タスク | 例 |
|---|---|
| 画像に関する質疑応答 | 画像を説明し、画像に関する質問に回答します |
| 複数画像の比較 | 複数の画像の内容や差異を比較します |
| 画像からの情報抽出 | 画像内の文字、フィールド、構造化情報を抽出します |
| ファイルの理解 | ファイルの内容を要約したり、ファイルに基づいて質問に回答したりします |
プロトコルでの表現
プロトコルごとに異なる入力コンテナとコンテンツブロックを使用します。プロトコル上でコンテンツブロックを表現できても、実際の入力機能は選択したモデルによって異なります。
| プロトコル | 入力コンテナ | 画像とファイルのコンテンツブロック |
|---|---|---|
| OpenAI Chat | messages[].content | image_url、file |
| OpenAI Responses | input[].content | input_image、input_file |
| Anthropic Messages | messages[].content | image、document |
| Gemini Generate Content | contents[].parts | inlineData、fileData |
API への接続
Base URL
https://api.agtcloud.cn/v1画像を理解する
次の例では、Chat Completions を使用して同じ画像を送信します。
curl 'https://api.agtcloud.cn/v1/chat/completions' \
-H 'Authorization: Bearer your-api-key' \
-H 'Content-Type: application/json' \
--data '{
"model": "MODEL_ID",
"messages": [
{
"role": "user",
"content": [
{"type": "text", "text": "画像の主な内容を説明してください。"},
{
"type": "image_url",
"image_url": {"url": "https://example.com/example.jpg"}
}
]
}
]
}'テキスト結果は choices[0].message.content に含まれます。
ファイル入力
ファイル入力には、プロトコル間で共通のリクエスト構造はありません。OpenAI Chat は file、Responses は input_file、Anthropic Messages は document、Gemini は inlineData または fileData を使用します。選択したプロトコルの API Reference に従ってリクエストを組み立ててください。