Qwen2.5-Omni-7B

Qwen2.5-Omni-7B#

简介#

Qwen2.5-Omni 是一款端到端的跨模态模型，旨在感知文本、图像、音频和视频等多种模态，并能同时以流式方式生成文本和自然语音响应。

Qwen2.5-Omni 模型自 vllm-ascend:v0.11.0rc0 开始支持。本文档将展示模型的主要验证步骤，包括支持的特性、特性配置、环境准备、单 NPU 和多 NPU 部署、准确性和性能评估。

支持的特性#

请参阅 支持的特性 获取模型的特性支持矩阵。

请参阅 特性指南 获取特性的配置方法。

环境准备#

模型权重#

以下示例默认使用 7B 版本。

安装#

您可以使用我们的官方 Docker 镜像直接运行 Qwen2.5-Omni。

根据您的机器类型选择镜像，并在您的节点上启动docker镜像，请参考使用docker进行设置。

# Update --device according to your device (Atlas A2: /dev/davinci[0-7] Atlas A3:/dev/davinci[0-15]).
# Update the vllm-ascend image according to your environment.
# Note you should download the weight to /root/.cache in advance.
# Update the vllm-ascend image
export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.12.0rc1
export NAME=vllm-ascend
# Run the container using the defined variables
# Note: If you are running bridge network with docker, please expose available ports for multiple nodes communication in advance
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /mnt/sfs_turbo/.cache:/root/.cache \
-it $IMAGE bash

部署#

单节点部署#

单 NPU (Qwen2.5-Omni-7B)#

注意

环境变量 LOCAL_MEDIA_PATH 允许 API 请求从服务器文件系统中指定的目录读取本地图像或视频。请注意，这存在安全风险。应仅在受信任的环境中启用。

export VLLM_USE_MODELSCOPE=true
export MODEL_PATH="Qwen/Qwen2.5-Omni-7B"
export LOCAL_MEDIA_PATH=$HOME/.cache/vllm/assets/vllm_public_assets/

vllm serve "${MODEL_PATH}" \
--host 0.0.0.0 \
--port 8000 \
--served-model-name Qwen-Omni \
--allowed-local-media-path ${LOCAL_MEDIA_PATH} \
--trust-remote-code \
--compilation-config '{"full_cuda_graph": 1}' \
--no-enable-prefix-caching

注意

现在 vllm-ascend Docker 镜像应包含 vllm[audio] 构建部分。如果您遇到任何 不支持音频的问题，请使用 [audio] 标志重新构建 vllm。

VLLM_TARGET_DEVICE=empty pip install -v ".[audio]"

--allowed-local-media-path 是可选的，只有当您需要使用本地媒体文件进行模型推理时才设置它。

--gpu-memory-utilization 除非您清楚此参数的含义，否则不应手动设置。

多 NPU (Qwen2.5-Omni-7B)#

export VLLM_USE_MODELSCOPE=true
export MODEL_PATH=Qwen/Qwen2.5-Omni-7B
export LOCAL_MEDIA_PATH=/local_path/to_media/
export DP_SIZE=8

vllm serve ${MODEL_PATH}\
--host 0.0.0.0 \
--port 8000 \
--served-model-name Qwen-Omni \
--allowed-local-media-path ${LOCAL_MEDIA_PATH} \
--trust-remote-code \
--compilation-config {"full_cuda_graph": 1} \
--data-parallel-size ${DP_SIZE} \
--no-enable-prefix-caching

对于这个 7B 模型，无需设置 --tensor_parallel_size，但如果您确实需要张量并行，tp 大小可以是 1\2\4 之一。

Prefill-Decode 分离#

尚未支持

功能验证#

如果您的服务启动成功，您将看到如下所示的信息

INFO:     Started server process [2736]
INFO:     Waiting for application startup.
INFO:     Application startup complete.

服务器启动后，您可以用输入提示查询模型

curl http://127.0.0.1:8000/v1/chat/completions   -H "Content-Type: application/json"   -H "Authorization: Bearer EMPTY"   -d '{
    "model": "Qwen-Omni",
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "What is the text in the illustrate?"
          },
          {
            "type": "image_url",
            "image_url": {
              "url": "https://modelscope.oss-cn-beijing.aliyuncs.com/resource/qwen.png"
            }
          }
        ]
      }
    ],
    "max_tokens": 100,
    "temperature": 0.7
  }'

如果您成功查询服务器，您将在客户端看到如下所示的信息

{"id":"chatcmpl-a70a719c12f7445c8204390a8d0d8c97","object":"chat.completion","created":1764056861,"model":"Qwen-Omni","choices":[{"index":0,"message":{"role":"assistant","content":"The text in the illustration is \"TONGYI Qwen\".","refusal":null,"annotations":null,"audio":null,"function_call":null,"tool_calls":[],"reasoning_content":null},"logprobs":null,"finish_reason":"stop","stop_reason":null,"token_ids":null}],"service_tier":null,"system_fingerprint":null,"usage":{"prompt_tokens":73,"total_tokens":88,"completion_tokens":15,"prompt_tokens_details":null},"prompt_logprobs":null,"prompt_token_ids":null,"kv_transfer_params":null}

精度评估#

Qwen2.5-Omni 在 vllm-ascend 上已在 AISBench 上进行了测试。

使用 AISBench#

  1. 详情请参阅使用 AISBench。

  2. 执行后，您将获得结果。以下是 Qwen2.5-Omni-7B 在 vllm-ascend:0.11.0rc0 上的结果，仅供参考。

数据集

平台

指标

模式

vllm-api-stream-chat

textVQA

A2

accuracy

gen_base64

83.47

textVQA

A3

accuracy

gen_base64

84.04

性能评估#

使用 AISBench#

详情请参阅使用 AISBench 进行性能评估。

使用 vLLM Benchmark#

以 Qwen2.5-Omni-7B 为例，运行性能评估。

更多详情请参阅 vllm benchmark。

有三个 vllm bench 子命令

  • latency：对单批请求的延迟进行基准测试。

  • serve：对在线服务吞吐量进行基准测试。

  • throughput：对离线推理吞吐量进行基准测试。

以 serve 为例。运行代码如下。

vllm bench serve --model Qwen/Qwen2.5-Omni-7B --dataset-name random --random-input 1024 --num-prompt 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，您就可以得到性能评估结果。

目录