参数扫描¶

在线基准测试¶

基本¶

vllm bench sweep serve 会自动启动 vllm serve 并运行 vllm bench serve 来评估 vLLM 在多种配置下的性能。

请按照以下步骤运行脚本

构建 vllm serve 的基础命令，并将其传递给 --serve-cmd 选项。
构建 vllm bench serve 的基础命令，并将其传递给 --bench-cmd 选项。

（可选）如果您想改变 vllm serve 的设置，请创建一个新的 JSON 文件，并填入您想测试的参数组合。将文件路径传递给 --serve-params。

示例：调优 --max-num-seqs 和 --max-num-batched-tokens

[
    {
        "max_num_seqs": 32,
        "max_num_batched_tokens": 1024
    },
    {
        "max_num_seqs": 64,
        "max_num_batched_tokens": 1024
    },
    {
        "max_num_seqs": 64,
        "max_num_batched_tokens": 2048
    },
    {
        "max_num_seqs": 128,
        "max_num_batched_tokens": 2048
    },
    {
        "max_num_seqs": 128,
        "max_num_batched_tokens": 4096
    },
    {
        "max_num_seqs": 256,
        "max_num_batched_tokens": 4096
    }
]

（可选）如果您想改变 vllm bench serve 的设置，请创建一个新的 JSON 文件，并填入您想测试的参数组合。将文件路径传递给 --bench-params。

示例：为随机数据集使用不同的输入/输出长度

[
    {
        "random_input_len": 128,
        "random_output_len": 32
    },
    {
        "random_input_len": 256,
        "random_output_len": 64
    },
    {
        "random_input_len": 512,
        "random_output_len": 128
    }
]

确定您希望保存结果的位置，并将其传递给 --output-dir。

示例命令

vllm bench sweep serve \
    --serve-cmd 'vllm serve meta-llama/Llama-2-7b-chat-hf' \
    --bench-cmd 'vllm bench serve --model meta-llama/Llama-2-7b-chat-hf --backend vllm --endpoint /v1/completions --dataset-name sharegpt --dataset-path benchmarks/ShareGPT_V3_unfiltered_cleaned_split.json' \
    --serve-params benchmarks/serve_hparams.json \
    --bench-params benchmarks/bench_hparams.json \
    -o benchmarks/results

重要

如果同时传递了 --serve-params 和 --bench-params，脚本将迭代它们之间的笛卡尔积。您可以使用 --dry-run 来预览将要运行的命令。

我们只为每个 --serve-params 启动一次服务器，并让它运行多个 --bench-params。在每次基准测试运行之间，我们调用 /reset_prefix_cache 和 /reset_mm_cache 端点，以获得一个干净的状态以进行下一次运行。如果您使用的是自定义 --serve-cmd，您可以通过设置 --after-bench-cmd 来覆盖用于重置状态的命令。

注意

默认情况下，每个参数组合会运行 3 次，以使结果更可靠。您可以通过设置 --num-runs 来调整运行次数。

提示

如果其中一次运行失败，您可以使用 --resume 选项来继续参数扫描。

SLA 自动调优器¶

vllm bench sweep serve_sla 是 vllm bench sweep serve 的一个封装，它通过调整请求速率或并发度（使用 --sla-variable 选择）来满足 --sla-params 给定的 SLA 约束。

例如，为了确保 99% 的请求的端到端延迟在不同的目标值之内

[
    {
        "p99_e2el_ms": "<=200"
    },
    {
        "p99_e2el_ms": "<=500"
    },
    {
        "p99_e2el_ms": "<=1000"
    },
    {
        "p99_e2el_ms": "<=2000"
    }
]

示例命令

vllm bench sweep serve_sla \
    --serve-cmd 'vllm serve meta-llama/Llama-2-7b-chat-hf' \
    --bench-cmd 'vllm bench serve --model meta-llama/Llama-2-7b-chat-hf --backend vllm --endpoint /v1/completions --dataset-name sharegpt --dataset-path benchmarks/ShareGPT_V3_unfiltered_cleaned_split.json' \
    --serve-params benchmarks/serve_hparams.json \
    --bench-params benchmarks/bench_hparams.json \
    --sla-params benchmarks/sla_hparams.json \
    --sla-variable max_concurrency \
    -o benchmarks/results

调整 SLA 变量的算法如下

以无限 QPS 运行基准测试，并使用相应的指标来确定变量的初始值。
- 例如，初始请求速率设置为无限 QPS 下的并发度。
如果 SLA 仍然满足，则将值加倍，直到 SLA 不再满足。这会给出一个相对狭窄的窗口，其中包含 SLA 刚好满足的点。
在窗口上应用二分查找，以找到仍满足 SLA 的最大值。

重要

SLA 调优应用于 --serve-params、--bench-params 和 --sla-params 的每个组合。

对于给定的 --serve-params 和 --bench-params 组合，我们在 --sla-params 之间共享基准测试结果，以避免使用相同的 SLA 变量值重新运行基准测试。

可视化¶

基本¶

vllm bench sweep plot 可用于绘制参数扫描结果的性能曲线。

示例命令

vllm bench sweep plot benchmarks/results/<timestamp> \
    --var-x max_concurrency \
    --row-by random_input_len \
    --col-by random_output_len \
    --curve-by api_server_count,max_num_batched_tokens \
    --filter-by 'max_concurrency<=1024'

提示

您可以使用 --dry-run 来预览要绘制的图形。

帕累托图¶

vllm bench sweep plot_pareto 有助于选择平衡用户吞吐量和 GPU 吞吐量的配置。

更高的并发度或批处理大小可以提高 GPU 效率（每 GPU），但会增加每个用户的延迟；较低的并发度可以提高每个用户的速率，但会低效利用 GPU；帕累托前沿显示了在您的运行中可达到的最佳对。

x 轴：tokens/s/user = output_throughput ÷ concurrency (--user-count-var，默认为 max_concurrency，回退为 max_concurrent_requests)。
y 轴：tokens/s/GPU = output_throughput ÷ GPU 数量 (如果设置了 --gpu-count-var；否则 gpu_count 是 TP×PP*DP)。
输出：在 OUTPUT_DIR/pareto/PARETO.png 处生成一张图。
使用 --label-by (默认为 max_concurrency,gpu_count) 显示每个数据点使用的配置。

示例

vllm bench sweep plot_pareto benchmarks/results/<timestamp> \
  --label-by max_concurrency,tensor_parallel_size,pipeline_parallel_size