vllm bench sweep plot

JSON 命令行参数

当传递 JSON 命令行参数时，以下几组参数是等效的

• --json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'
• --json-arg.key1 value1 --json-arg.key2.key3 value2

此外，列表元素可以使用 + 单独传递

• --json-arg '{"key4": ["value3", "value4", "value5"]}'
• --json-arg.key4+ value3 --json-arg.key4+='value4,value5'

参数

--fig-dir

用于保存图表的目录，相对于 OUTPUT_DIR。默认情况下，使用同一目录。

默认值: ""

--fig-by

一组用逗号分隔的变量，将为这些变量的每种组合创建一个单独的图表。

默认值: ""

--row-by

一组用逗号分隔的变量，将为这些变量的每种组合创建一个单独的行。

默认值: ""

--col-by

一组用逗号分隔的变量，将为这些变量的每种组合创建一个单独的列。

默认值: ""

--curve-by

一组用逗号分隔的变量，将为这些变量的每种组合创建一个单独的曲线。

默认值: None

--var-x

x 轴的变量。

默认值：request_throughput

--var-y

y 轴的变量

默认值：p99_e2el_ms

--filter-by

一组用逗号分隔的语句，指示要过滤的值。这有助于移除异常值。例如：max_concurrency<1000,max_num_batched_tokens<=4096 表示仅绘制 max_concurrency 小于 1000 且 max_num_batched_tokens 不大于 4096 的点。

默认值: ""

--bin-by

一组用逗号分隔的语句，指示要分组的值。这有助于避免绘制过于靠近的点。例如：request_throughput%%1 表示对 request_throughput 变量使用 1 的分组大小。

默认值: ""

--scale-x

x 轴使用的刻度。目前仅接受字符串值，例如 'log' 和 'sqrt'。另请参阅：https://seaborn.org.cn/generated/seaborn.objects.Plot.scale.html

默认值: None

--scale-y

y 轴使用的刻度。目前仅接受字符串值，例如 'log' 和 'sqrt'。另请参阅：https://seaborn.org.cn/generated/seaborn.objects.Plot.scale.html

默认值: None

--fig-name

输出图表文件的名称前缀。如果存在，则始终附加组数据。默认值：'FIGURE'。例如：--fig-name my_performance_plot

默认值：FIGURE

--no-error-bars

如果设置，则禁用图表上的误差线。默认情况下，会显示误差线。

默认值: False

--fig-height

每个子图的高度（以英寸为单位）。默认值：6.4

默认值：6.4

--fig-dpi

输出图表的分辨率（以每英寸点数为单位）。默认值：300

默认值：300

--dry-run

如果设置，则打印有关每个要绘制的图表的信息，然后退出而不绘制它们。

默认值: False