vllm bench sweep serve

JSON 命令行参数

当传递 JSON 命令行参数时，以下几组参数是等效的

• --json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'
• --json-arg.key1 value1 --json-arg.key2.key3 value2

此外，列表元素可以使用 + 单独传递

• --json-arg '{"key4": ["value3", "value4", "value5"]}'
• --json-arg.key4+ value3 --json-arg.key4+='value4,value5'

参数

--serve-cmd

用于运行服务器的命令：vllm serve ...

默认值: None

--bench-cmd

用于运行基准测试的命令：vllm bench serve ...

默认值: None

--after-bench-cmd

基准测试运行完成后，调用此命令而不是默认的 ServerWrapper.clear_cache()。

默认值: None

--show-stdout

如果设置，则记录子命令的标准输出。这对于调试很有用，但可能会产生大量输出。

默认值: False

--serve-params

包含 vllm serve 命令参数组合的 JSON 文件路径。可以是字典列表，也可以是字典（其中键是基准测试名称）。如果同时给出了 serve_params 和 bench_params，则脚本将遍历它们的笛卡尔积。

默认值: None

--bench-params

包含 vllm bench serve 命令参数组合的 JSON 文件路径。可以是字典列表，也可以是字典（其中键是基准测试名称）。如果同时给出了 serve_params 和 bench_params，则脚本将遍历它们的笛卡尔积。

默认值: None

-o, --output-dir

结果写入的目录。

默认值：results

--num-runs

每个参数组合的运行次数。

默认值：3

--dry-run

如果设置，则打印要运行的命令，然后退出而不执行它们。

默认值: False

--resume

将此设置为 output_dir 下的目录名称（通常是时间戳），以恢复脚本的先前执行，即仅运行仍没有输出文件的参数组合。

默认值: None

--link-vars

服务器和基准测试之间链接变量的逗号分隔列表，例如 max_num_seqs=max_concurrency,max_model_len=random_input_len

默认值: ""