Qwen3-VL-235B-A22B-Instruct

Qwen3-VL-235B-A22B-Instruct#

简介#

阿里云的Qwen-VL（视觉-语言）系列是一系列功能强大的大型视觉-语言模型（LVLMs），旨在实现全面的多模态理解。它们接受图像、文本和边界框作为输入，并输出文本和检测框，从而实现图像检测、多模态对话和多图像推理等高级功能。

本文档将展示模型的主要验证步骤，包括支持的特性、特性配置、环境准备、NPU部署、准确率和性能评估。

本教程以vLLM-Ascend v0.11.0rc2 版本为例，展示 Qwen3-VL-235B-A22B-Instruct 模型的多NPU部署。

支持的特性#

请参阅支持的特性获取模型的特性支持矩阵。

请参阅特性指南获取特性的配置方法。

环境准备#

模型权重#

Qwen3-VL-235B-A22B-Instruct（BF16版本）：需要1个Atlas 800 A3（64G × 16）节点，2个Atlas 800 A2（64G * 8）节点。下载模型权重

建议将模型权重下载到多节点的共享目录中，例如 /root/.cache/

验证多节点通信（可选）#

如果您想部署多节点环境，需要按照验证多节点通信环境来验证多节点通信。

安装#

使用docker镜像

例如，使用镜像quay.io/ascend/vllm-ascend:v0.11.0rc2（适用于Atlas 800 A2）和quay.io/ascend/vllm-ascend:v0.11.0rc2-a3（适用于Atlas 800 A3）。

根据您的机器类型选择镜像，并在您的节点上启动docker镜像，请参考使用docker进行设置。

  # Update --device according to your device (Atlas A2: /dev/davinci[0-7] Atlas A3:/dev/davinci[0-15]).
  # Update the vllm-ascend image according to your environment.
  # Note you should download the weight to /root/.cache in advance.
  # Update the vllm-ascend image
  export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.12.0rc1
  export NAME=vllm-ascend

  # Run the container using the defined variables
  # Note: If you are running bridge network with docker, please expose available ports for multiple nodes communication in advance
  docker run --rm \
  --name $NAME \
  --net=host \
  --privileged=true \
  --shm-size=500g \
  --device /dev/davinci0 \
  --device /dev/davinci1 \
  --device /dev/davinci2 \
  --device /dev/davinci3 \
  --device /dev/davinci4 \
  --device /dev/davinci5 \
  --device /dev/davinci6 \
  --device /dev/davinci7 \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
  -v /etc/ascend_install.info:/etc/ascend_install.info \
  -it $IMAGE bash

从源码构建

您可以从源码构建所有内容。

安装vllm-ascend，请参考使用Python进行设置。

如果您想部署多节点环境，需要在每个节点上设置环境。

部署#

MP多节点部署（推荐）#

假设您拥有Atlas 800 A3（64G*16）节点（或2个A2），并希望将Qwen3-VL-235B-A22B-Instruct模型部署到多个节点上。

节点 0

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=true
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxxx"
local_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=1024
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE="AIV"

vllm serve Qwen/Qwen3-VL-235B-A22B-Instruct \
--host 0.0.0.0 \
--port 8000 \
--data-parallel-size 2 \
--api-server-count 2 \
--data-parallel-size-local 1 \
--data-parallel-address $local_ip \
--data-parallel-rpc-port 13389 \
--seed 1024 \
--served-model-name qwen3 \
--tensor-parallel-size 8 \
--enable-expert-parallel \
--max-num-seqs 16 \
--max-model-len 262144 \
--max-num-batched-tokens 4096 \
--trust-remote-code \
--async-scheduling \
--gpu-memory-utilization 0.9 \

节点1

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=true
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# this obtained through ifconfig
# nic_name is the network interface name corresponding to local_ip of the current node
nic_name="xxxx"
local_ip="xxxx"

# The value of node0_ip must be consistent with the value of local_ip set in node0 (master node)
node0_ip="xxxx"

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export HCCL_BUFFSIZE=1024
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE="AIV"

vllm serve Qwen/Qwen3-VL-235B-A22B-Instruct \
--host 0.0.0.0 \
--port 8000 \
--headless \
--data-parallel-size 2 \
--data-parallel-size-local 1 \
--data-parallel-start-rank 1 \
--data-parallel-address $node0_ip \
--data-parallel-rpc-port 13389 \
--seed 1024 \
--tensor-parallel-size 8 \
--served-model-name qwen3 \
--max-num-seqs 16 \
--max-model-len 262144 \
--max-num-batched-tokens 4096 \
--enable-expert-parallel \
--trust-remote-code \
--async-scheduling \
--gpu-memory-utilization 0.9 \

参数解释如下

--max-model-len表示上下文长度，即单次请求的输入加上输出的最大值。
--max-num-seqs表示每个DP组允许处理的最大请求数。如果发送到服务的请求数超过此限制，则多余的请求将处于等待状态，不会被调度。请注意，在等待状态下花费的时间也会计入TTFT和TPOT等指标。因此，在测试性能时，通常建议--max-num-seqs * --data-parallel-size >= 实际总并发。
--max-num-batched-tokens表示模型单步可以处理的最大token数。目前，vLLM v1调度默认启用ChunkPrefill/SplitFuse，这意味着
- (1) 如果请求的输入长度大于--max-num-batched-tokens，它将根据--max-num-batched-tokens分多轮计算；
- (2) 解码请求优先调度，只有在有可用容量时才调度预填充请求。
- 通常，如果--max-num-batched-tokens设置得更大，总体延迟会更低，但GPU内存压力（激活值使用）会更大。
--gpu-memory-utilization表示vLLM将用于实际推理的HBM的比例。它的基本功能是计算可用的kv_cache大小。在预热阶段（在vLLM中称为profile run），vLLM会记录输入大小为--max-num-batched-tokens的推理过程中的峰值GPU内存使用量。然后，可用的kv_cache大小计算如下：--gpu-memory-utilization * HBM大小 - 峰值GPU内存使用量。因此，--gpu-memory-utilization的值越大，可以使用的kv_cache就越多。然而，由于预热阶段的GPU内存使用量可能与实际推理期间的不同（例如，由于EP负载不均匀），将--gpu-memory-utilization设置得太高可能导致实际推理期间出现OOM（内存不足）问题。默认值为0.9。
--enable-expert-parallel表示启用了EP。请注意，vLLM不支持ETP和EP的混合方法；也就是说，MoE要么使用纯EP，要么使用纯TP。
--no-enable-prefix-caching表示禁用了前缀缓存。要启用它，请删除此选项。
--quantization“ascend”表示使用了量化。要禁用量化，请删除此选项。
--compilation-config包含与aclgraph图模式相关的配置。最重要的配置是“cudagraph_mode”和“cudagraph_capture_sizes”，它们具有以下含义：“cudagraph_mode”：表示特定的图模式。目前支持“PIECEWISE”和“FULL_DECODE_ONLY”。图模式主要用于降低算子调度的开销。目前推荐使用“FULL_DECODE_ONLY”。
“cudagraph_capture_sizes”：表示不同级别的图模式。默认值为[1, 2, 4, 8, 16, 24, 32, 40,…, --max-num-seqs]。在图模式下，不同级别的输入的图是固定的，级别之间的输入会自动填充到下一个级别。目前推荐默认设置。只有在某些场景下才需要单独设置以获得最佳性能。
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1表示启用了Flashcomm1优化。目前，此优化仅在tp_size > 1 的场景下支持MoE。

如果服务启动成功，节点0上将显示以下信息

INFO:     Started server process [44610]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Started server process [44611]
INFO:     Waiting for application startup.
INFO:     Application startup complete.

Ray多节点部署#

参考Ray分布式（Qwen/Qwen3-235B-A22B）。

Prefill-Decode 分离#

参考预填充-解码解耦Mooncake验证

功能验证#

服务器启动后，您可以用输入提示查询模型

curl http://<node0_ip>:<port>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "qwen3",
    "messages": [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": [
        {"type": "image_url", "image_url": {"url": "https://modelscope.oss-cn-beijing.aliyuncs.com/resource/qwen.png"}},
        {"type": "text", "text": "What is the text in the illustrate?"}
    ]}
    ]
    }'

精度评估#

这里有两种准确率评估方法。

使用 AISBench#

详情请参阅使用 AISBench。
执行后，您可以获得结果，以下是Qwen3-VL-235B-A22B-Instruct在vllm-ascend:0.11.0rc2上的结果，仅供参考。

数据集	version	指标	模式	vllm-api-general-chat
aime2024	-	accuracy	gen	93

性能#

使用 AISBench#

详情请参阅使用 AISBench 进行性能评估。

使用 vLLM Benchmark#

以Qwen3-VL-235B-A22B-Instruct为例进行性能评估。

更多详情请参阅 vllm benchmark。

有三个 vllm bench 子命令

latency：对单批请求的延迟进行基准测试。
serve：对在线服务吞吐量进行基准测试。
throughput：对离线推理吞吐量进行基准测试。

以 serve 为例。运行代码如下。

export VLLM_USE_MODELSCOPE=true
vllm bench serve --model Qwen/Qwen3-VL-235B-A22B-Instruct  --dataset-name random --random-input 200 --num-prompt 200 --request-rate 1 --save-result --result-dir ./

大约几分钟后，您就可以得到性能评估结果。