Мультимодальный ввод и понимание

Передавайте изображения или файлы модели и получайте результаты текстового анализа.

Обзор

Мультимодальное понимание использует изображения или файлы в качестве входа: модель отвечает на вопросы, сравнивает содержимое или извлекает информацию. В отличие от генерации изображений, видео и аудио, задачи понимания читают медиа, а задачи генерации создают их.

Подходящие задачи

Задача	Пример
Вопросы по изображению	Описание сцены и ответы на вопросы об изображении
Сравнение изображений	Сравнение содержимого нескольких изображений или различий между ними
Извлечение информации из изображения	Извлечение текста, полей или структурированной информации
Понимание файлов	Краткое изложение содержимого файла или ответы на вопросы по нему

Представление в протоколах

Протоколы используют разные контейнеры ввода и блоки содержимого. Протокол может представлять такие блоки, но фактическая поддержка входных данных зависит от выбранной модели.

Протокол	Контейнер ввода	Блоки изображений и файлов
OpenAI Chat	`messages[].content`	`image_url`, `file`
OpenAI Responses	`input[].content`	`input_image`, `input_file`
Anthropic Messages	`messages[].content`	`image`, `document`
Gemini Generate Content	`contents[].parts`	`inlineData`, `fileData`

Подключение к API

Base URL

https://api.agtcloud.cn/v1

Понимание изображений

Следующие примеры отправляют одно и то же изображение через Chat Completions.

curl 'https://api.agtcloud.cn/v1/chat/completions' \
  -H 'Authorization: Bearer your-api-key' \
  -H 'Content-Type: application/json' \
  --data '{
    "model": "MODEL_ID",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "Опишите основное содержимое изображения."},
          {
            "type": "image_url",
            "image_url": {"url": "https://example.com/example.jpg"}
          }
        ]
      }
    ]
  }'

Текстовый результат находится в choices[0].message.content.

Ввод файлов

У ввода файлов нет универсальной структуры запроса для всех протоколов. OpenAI Chat использует file, Responses — input_file, Anthropic Messages — document, Gemini — inlineData или fileData. Формируйте запрос по API Reference выбранного протокола.