多模态输入

多模态输入#

此页面教您如何在 vLLM 中将多模态输入传递给多模态模型。

注意

我们正在积极迭代多模态支持。请参阅此 RFC以了解即将到来的更改，如果您有任何反馈或功能请求，请在GitHub 上打开 issue。

离线推理#

要输入多模态数据，请在vllm.inputs.PromptType中遵循此模式

prompt：提示应遵循 HuggingFace 上记录的格式。
multi_modal_data：这是一个字典，它遵循vllm.multimodal.inputs.MultiModalDataDict中定义的模式。

图像#

您可以将单个图像传递到多模态字典的 'image' 字段，如下列示例所示

llm = LLM(model="llava-hf/llava-1.5-7b-hf")

# Refer to the HuggingFace repo for the correct format to use
prompt = "USER: <image>\nWhat is the content of this image?\nASSISTANT:"

# Load the image using PIL.Image
image = PIL.Image.open(...)

# Single prompt inference
outputs = llm.generate({
    "prompt": prompt,
    "multi_modal_data": {"image": image},
})

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

# Batch inference
image_1 = PIL.Image.open(...)
image_2 = PIL.Image.open(...)
outputs = llm.generate(
    [
        {
            "prompt": "USER: <image>\nWhat is the content of this image?\nASSISTANT:",
            "multi_modal_data": {"image": image_1},
        },
        {
            "prompt": "USER: <image>\nWhat's the color of this image?\nASSISTANT:",
            "multi_modal_data": {"image": image_2},
        }
    ]
)

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

完整示例：examples/offline_inference/vision_language.py

要在同一文本提示中替换多个图像，您可以传入图像列表

llm = LLM(
    model="microsoft/Phi-3.5-vision-instruct",
    trust_remote_code=True,  # Required to load Phi-3.5-vision
    max_model_len=4096,  # Otherwise, it may not fit in smaller GPUs
    limit_mm_per_prompt={"image": 2},  # The maximum number to accept
)

# Refer to the HuggingFace repo for the correct format to use
prompt = "<|user|>\n<|image_1|>\n<|image_2|>\nWhat is the content of each image?<|end|>\n<|assistant|>\n"

# Load the images using PIL.Image
image1 = PIL.Image.open(...)
image2 = PIL.Image.open(...)

outputs = llm.generate({
    "prompt": prompt,
    "multi_modal_data": {
        "image": [image1, image2]
    },
})

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

完整示例：examples/offline_inference/vision_language_multi_image.py

多图像输入可以扩展到执行视频字幕。我们使用Qwen2-VL 来展示这一点，因为它支持视频

# Specify the maximum number of frames per video to be 4. This can be changed.
llm = LLM("Qwen/Qwen2-VL-2B-Instruct", limit_mm_per_prompt={"image": 4})

# Create the request payload.
video_frames = ... # load your video making sure it only has the number of frames specified earlier.
message = {
    "role": "user",
    "content": [
        {"type": "text", "text": "Describe this set of frames. Consider the frames to be a part of the same video."},
    ],
}
for i in range(len(video_frames)):
    base64_image = encode_image(video_frames[i]) # base64 encoding.
    new_image = {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{base64_image}"}}
    message["content"].append(new_image)

# Perform inference and log output.
outputs = llm.chat([message])

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

视频#

您可以将 NumPy 数组列表直接传递到多模态字典的 'video' 字段，而不是使用多图像输入。

完整示例：examples/offline_inference/vision_language.py

音频#

您可以将元组 (array, sampling_rate) 传递到多模态字典的 'audio' 字段。

完整示例：examples/offline_inference/audio_language.py

嵌入#

要将属于数据类型（即图像、视频或音频）的预计算嵌入直接输入到语言模型，请将形状为 (num_items, feature_size, hidden_size of LM) 的张量传递到多模态字典的相应字段。

# Inference with image embeddings as input
llm = LLM(model="llava-hf/llava-1.5-7b-hf")

# Refer to the HuggingFace repo for the correct format to use
prompt = "USER: <image>\nWhat is the content of this image?\nASSISTANT:"

# Embeddings for single image
# torch.Tensor of shape (1, image_feature_size, hidden_size of LM)
image_embeds = torch.load(...)

outputs = llm.generate({
    "prompt": prompt,
    "multi_modal_data": {"image": image_embeds},
})

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

对于 Qwen2-VL 和 MiniCPM-V，我们接受与嵌入一起的其他参数

# Construct the prompt based on your model
prompt = ...

# Embeddings for multiple images
# torch.Tensor of shape (num_images, image_feature_size, hidden_size of LM)
image_embeds = torch.load(...)

# Qwen2-VL
llm = LLM("Qwen/Qwen2-VL-2B-Instruct", limit_mm_per_prompt={"image": 4})
mm_data = {
    "image": {
        "image_embeds": image_embeds,
        # image_grid_thw is needed to calculate positional encoding.
        "image_grid_thw": torch.load(...),  # torch.Tensor of shape (1, 3),
    }
}

# MiniCPM-V
llm = LLM("openbmb/MiniCPM-V-2_6", trust_remote_code=True, limit_mm_per_prompt={"image": 4})
mm_data = {
    "image": {
        "image_embeds": image_embeds,
        # image_sizes is needed to calculate details of the sliced image.
        "image_sizes": [image.size for image in images],  # list of image sizes
    }
}

outputs = llm.generate({
    "prompt": prompt,
    "multi_modal_data": mm_data,
})

for o in outputs:
    generated_text = o.outputs[0].text
    print(generated_text)

在线服务#

我们的 OpenAI 兼容服务器通过聊天完成 API 接受多模态数据。

重要提示

使用聊天完成 API 需要聊天模板。

虽然大多数模型都带有聊天模板，但对于其他模型，您必须自己定义一个。聊天模板可以根据模型 HuggingFace 仓库上的文档推断出来。例如，LLaVA-1.5 (llava-hf/llava-1.5-7b-hf) 需要一个可以在这里找到的聊天模板：examples/template_llava.jinja

图像#

图像输入根据OpenAI Vision API 提供支持。这是一个使用 Phi-3.5-Vision 的简单示例。

首先，启动 OpenAI 兼容服务器

vllm serve microsoft/Phi-3.5-vision-instruct --task generate \
  --trust-remote-code --max-model-len 4096 --limit-mm-per-prompt image=2

然后，您可以按如下方式使用 OpenAI 客户端

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "https://127.0.0.1:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# Single-image input inference
image_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"

chat_response = client.chat.completions.create(
    model="microsoft/Phi-3.5-vision-instruct",
    messages=[{
        "role": "user",
        "content": [
            # NOTE: The prompt formatting with the image token `<image>` is not needed
            # since the prompt will be processed automatically by the API server.
            {"type": "text", "text": "What’s in this image?"},
            {"type": "image_url", "image_url": {"url": image_url}},
        ],
    }],
)
print("Chat completion output:", chat_response.choices[0].message.content)

# Multi-image input inference
image_url_duck = "https://upload.wikimedia.org/wikipedia/commons/d/da/2015_Kaczka_krzy%C5%BCowka_w_wodzie_%28samiec%29.jpg"
image_url_lion = "https://upload.wikimedia.org/wikipedia/commons/7/77/002_The_lion_king_Snyggve_in_the_Serengeti_National_Park_Photo_by_Giles_Laurent.jpg"

chat_response = client.chat.completions.create(
    model="microsoft/Phi-3.5-vision-instruct",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "What are the animals in these images?"},
            {"type": "image_url", "image_url": {"url": image_url_duck}},
            {"type": "image_url", "image_url": {"url": image_url_lion}},
        ],
    }],
)
print("Chat completion output:", chat_response.choices[0].message.content)

完整示例：examples/online_serving/openai_chat_completion_client_for_multimodal.py

提示

vLLM 也支持从本地文件路径加载：您可以在启动 API 服务器/引擎时通过 --allowed-local-media-path 指定允许的本地媒体路径，并在 API 请求中将文件路径作为 url 传递。

提示

无需在 API 请求的文本内容中放置图像占位符 - 它们已由图像内容表示。实际上，您可以通过交错文本和图像内容，将图像占位符放置在文本中间。

注意

默认情况下，通过 HTTP URL 获取图像的超时时间为 5 秒。您可以通过设置环境变量来覆盖此设置

export VLLM_IMAGE_FETCH_TIMEOUT=<timeout>

视频#

您可以传递视频文件，而不是 image_url，通过 video_url。这是一个使用 LLaVA-OneVision 的简单示例。

首先，启动 OpenAI 兼容服务器

vllm serve llava-hf/llava-onevision-qwen2-0.5b-ov-hf --task generate --max-model-len 8192

然后，您可以按如下方式使用 OpenAI 客户端

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "https://127.0.0.1:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

video_url = "http://commondatastorage.googleapis.com/gtv-videos-bucket/sample/ForBiggerFun.mp4"

## Use video url in the payload
chat_completion_from_url = client.chat.completions.create(
    messages=[{
        "role":
        "user",
        "content": [
            {
                "type": "text",
                "text": "What's in this video?"
            },
            {
                "type": "video_url",
                "video_url": {
                    "url": video_url
                },
            },
        ],
    }],
    model=model,
    max_completion_tokens=64,
)

result = chat_completion_from_url.choices[0].message.content
print("Chat completion output from image url:", result)

完整示例：examples/online_serving/openai_chat_completion_client_for_multimodal.py

注意

默认情况下，通过 HTTP URL 获取视频的超时时间为 30 秒。您可以通过设置环境变量来覆盖此设置

export VLLM_VIDEO_FETCH_TIMEOUT=<timeout>

音频#

音频输入根据OpenAI Audio API 提供支持。这是一个使用 Ultravox-v0.5-1B 的简单示例。

首先，启动 OpenAI 兼容服务器

vllm serve fixie-ai/ultravox-v0_5-llama-3_2-1b

然后，您可以按如下方式使用 OpenAI 客户端

import base64
import requests
from openai import OpenAI
from vllm.assets.audio import AudioAsset

def encode_base64_content_from_url(content_url: str) -> str:
    """Encode a content retrieved from a remote url to base64 format."""

    with requests.get(content_url) as response:
        response.raise_for_status()
        result = base64.b64encode(response.content).decode('utf-8')

    return result

openai_api_key = "EMPTY"
openai_api_base = "https://127.0.0.1:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# Any format supported by librosa is supported
audio_url = AudioAsset("winning_call").url
audio_base64 = encode_base64_content_from_url(audio_url)

chat_completion_from_base64 = client.chat.completions.create(
    messages=[{
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "What's in this audio?"
            },
            {
                "type": "input_audio",
                "input_audio": {
                    "data": audio_base64,
                    "format": "wav"
                },
            },
        ],
    }],
    model=model,
    max_completion_tokens=64,
)

result = chat_completion_from_base64.choices[0].message.content
print("Chat completion output from input audio:", result)

或者，您可以传递 audio_url，它是图像输入的 image_url 的音频对应物

chat_completion_from_url = client.chat.completions.create(
    messages=[{
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "What's in this audio?"
            },
            {
                "type": "audio_url",
                "audio_url": {
                    "url": audio_url
                },
            },
        ],
    }],
    model=model,
    max_completion_tokens=64,
)

result = chat_completion_from_url.choices[0].message.content
print("Chat completion output from audio url:", result)

完整示例：examples/online_serving/openai_chat_completion_client_for_multimodal.py

注意

默认情况下，通过 HTTP URL 获取音频的超时时间为 10 秒。您可以通过设置环境变量来覆盖此设置

export VLLM_AUDIO_FETCH_TIMEOUT=<timeout>

嵌入#

vLLM 的嵌入 API 是 OpenAI 的嵌入 API 的超集，其中可以传递聊天 messages 列表而不是批量的 inputs。这使得可以将多模态输入传递到嵌入模型。

提示

messages 的模式与聊天完成 API 中的模式完全相同。您可以参考上面的教程，了解有关如何传递每种类型的多模态数据的更多详细信息。

通常，嵌入模型不期望基于聊天的输入，因此我们需要使用自定义聊天模板来格式化文本和图像。请参阅下面的示例以进行说明。

这是一个使用 VLM2Vec 的端到端示例。要服务模型

vllm serve TIGER-Lab/VLM2Vec-Full --task embed \
  --trust-remote-code --max-model-len 4096 --chat-template examples/template_vlm2vec.jinja

重要提示

由于 VLM2Vec 具有与 Phi-3.5-Vision 相同的模型架构，因此我们必须显式传递 --task embed 才能在嵌入模式而不是文本生成模式下运行此模型。

自定义聊天模板与此模型的原始模板完全不同，可以在这里找到：examples/template_vlm2vec.jinja

由于请求模式不是由 OpenAI 客户端定义的，我们使用较低级别的 requests 库向服务器发布请求

import requests

image_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"

response = requests.post(
    "https://127.0.0.1:8000/v1/embeddings",
    json={
        "model": "TIGER-Lab/VLM2Vec-Full",
        "messages": [{
            "role": "user",
            "content": [
                {"type": "image_url", "image_url": {"url": image_url}},
                {"type": "text", "text": "Represent the given image."},
            ],
        }],
        "encoding_format": "float",
    },
)
response.raise_for_status()
response_json = response.json()
print("Embedding output:", response_json["data"][0]["embedding"])

下面是另一个示例，这次使用 MrLight/dse-qwen2-2b-mrl-v1 模型。

vllm serve MrLight/dse-qwen2-2b-mrl-v1 --task embed \
  --trust-remote-code --max-model-len 8192 --chat-template examples/template_dse_qwen2_vl.jinja

重要提示

与 VLM2Vec 一样，我们必须显式传递 --task embed。

此外，MrLight/dse-qwen2-2b-mrl-v1 需要用于嵌入的 EOS 令牌，这由自定义聊天模板处理：examples/template_dse_qwen2_vl.jinja

重要提示

同样重要的是，MrLight/dse-qwen2-2b-mrl-v1 需要用于文本查询嵌入的最小图像尺寸的占位符图像。有关详细信息，请参见下面的完整代码示例。

完整示例：examples/online_serving/openai_chat_embedding_client_for_multimodal.py

多模态输入

目录

多模态输入#

离线推理#

图像#

视频#

音频#

嵌入#

在线服务#

图像#

视频#

音频#

嵌入#