多模态输入与理解

概述

多模态理解将图片或文件作为输入，让模型回答问题、比较内容或提取信息。它与图像、视频和音频生成不同：理解任务读取媒体，生成任务创建媒体。

适用任务

任务	示例
图片问答	描述画面并回答与图片有关的问题
多图比较	比较多张图片的内容或差异
图片信息提取	提取图片中的文字、字段或结构化信息
文件理解	总结文件内容或根据文件回答问题

协议表达

不同协议使用不同的输入容器和内容块。内容块可由协议表达，但实际输入能力仍取决于所选模型。

协议	输入容器	图片与文件内容块
OpenAI Chat	`messages[].content`	`image_url`、`file`
OpenAI Responses	`input[].content`	`input_image`、`input_file`
Anthropic Messages	`messages[].content`	`image`、`document`
Gemini Generate Content	`contents[].parts`	`inlineData`、`fileData`

API 接入

Base URL

https://api.agtcloud.cn/v1

图片理解

以下示例通过 Chat Completions 提交同一张图片。

curl 'https://api.agtcloud.cn/v1/chat/completions' \
  -H 'Authorization: Bearer your-api-key' \
  -H 'Content-Type: application/json' \
  --data '{
    "model": "MODEL_ID",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "请描述图片中的主要内容。"},
          {
            "type": "image_url",
            "image_url": {"url": "https://example.com/example.jpg"}
          }
        ]
      }
    ]
  }'

文本结果位于 choices[0].message.content。

文件输入

文件输入没有跨协议通用的请求结构。OpenAI Chat 使用 file，Responses 使用 input_file，Anthropic Messages 使用 document，Gemini 使用 inlineData 或 fileData。请按所选协议的 API Reference 组合请求。

概述