Đầu vào và hiểu nội dung đa phương thức

Sử dụng hình ảnh hoặc tệp làm đầu vào mô hình và đọc kết quả phân tích dạng văn bản.

Tổng quan

Hiểu nội dung đa phương thức sử dụng hình ảnh hoặc tệp làm đầu vào để mô hình trả lời câu hỏi, so sánh nội dung hoặc trích xuất thông tin. Khác với tạo hình ảnh, video và âm thanh, tác vụ hiểu nội dung đọc dữ liệu phương tiện, còn tác vụ tạo nội dung tạo ra dữ liệu phương tiện.

Các tác vụ phù hợp

Tác vụ	Ví dụ
Hỏi đáp về hình ảnh	Mô tả hình ảnh và trả lời các câu hỏi liên quan
So sánh nhiều hình ảnh	So sánh nội dung hoặc sự khác biệt giữa nhiều hình ảnh
Trích xuất thông tin từ hình ảnh	Trích xuất văn bản, trường dữ liệu hoặc thông tin có cấu trúc từ hình ảnh
Hiểu nội dung tệp	Tóm tắt nội dung tệp hoặc trả lời câu hỏi dựa trên tệp

Biểu diễn theo giao thức

Các giao thức sử dụng vùng chứa đầu vào và khối nội dung khác nhau. Giao thức có thể biểu diễn các khối nội dung đó, nhưng khả năng tiếp nhận đầu vào thực tế vẫn phụ thuộc vào mô hình đã chọn.

Giao thức	Vùng chứa đầu vào	Khối nội dung hình ảnh và tệp
OpenAI Chat	`messages[].content`	`image_url`, `file`
OpenAI Responses	`input[].content`	`input_image`, `input_file`
Anthropic Messages	`messages[].content`	`image`, `document`
Gemini Generate Content	`contents[].parts`	`inlineData`, `fileData`

Tích hợp API

Base URL

https://api.agtcloud.cn/v1

Hiểu nội dung hình ảnh

Các ví dụ dưới đây gửi cùng một hình ảnh qua Chat Completions.

curl 'https://api.agtcloud.cn/v1/chat/completions' \
  -H 'Authorization: Bearer your-api-key' \
  -H 'Content-Type: application/json' \
  --data '{
    "model": "MODEL_ID",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "Hãy mô tả nội dung chính của hình ảnh."},
          {
            "type": "image_url",
            "image_url": {"url": "https://example.com/example.jpg"}
          }
        ]
      }
    ]
  }'

Kết quả văn bản nằm trong choices[0].message.content.

Đầu vào tệp

Không có cấu trúc yêu cầu đầu vào tệp chung cho mọi giao thức. OpenAI Chat sử dụng file, Responses sử dụng input_file, Anthropic Messages sử dụng document, còn Gemini sử dụng inlineData hoặc fileData. Hãy tạo yêu cầu theo API Reference của giao thức đã chọn.