vllm bench sweep plot_pareto

JSON 命令行参数

当传递 JSON 命令行参数时，以下几组参数是等效的

• --json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'
• --json-arg.key1 value1 --json-arg.key2.key3 value2

此外，列表元素可以使用 + 单独传递

• --json-arg '{"key4": ["value3", "value4", "value5"]}'
• --json-arg.key4+ value3 --json-arg.key4+='value4,value5'

参数

--user-count-var

存储并发用户数的 result key。如果缺失，则回退到 max_concurrent_requests。

默认值：max_concurrency

--gpu-count-var

存储 GPU 数量的 result key。如果未提供，则回退到 num_gpus/gpu_count 或 tensor_parallel_size * pipeline_parallel_size。

默认值: None

--label-by

用于标注帕累托前沿点字段的逗号分隔列表。

默认值：max_concurrency,gpu_count

--dry-run

如果设置，则打印要绘制的图形而不进行绘制。

默认值: False