vllm bench sweep plot¶
JSON 命令行参数¶
当传递 JSON 命令行参数时，以下几组参数是等效的
--json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'--json-arg.key1 value1 --json-arg.key2.key3 value2
此外，列表元素可以使用 + 单独传递
--json-arg '{"key4": ["value3", "value4", "value5"]}'--json-arg.key4+ value3 --json-arg.key4+='value4,value5'
参数¶
--fig-dir¶
- 用于保存图表的目录，相对于
OUTPUT_DIR。默认使用同一目录。 - 默认值:
""
--fig-by¶
- 以逗号分隔的变量列表，将为这些变量的每一种组合创建一个单独的图表。
- 默认值:
""
--row-by¶
- 以逗号分隔的变量列表，将为这些变量的每一种组合创建一个单独的行。
- 默认值:
""
--col-by¶
- 以逗号分隔的变量列表，将为这些变量的每一种组合创建一个单独的列。
- 默认值:
""
--curve-by¶
- 以逗号分隔的变量列表，将为这些变量的每一种组合创建一条单独的曲线。
--var-x¶
- X 轴对应的变量。
- 默认值:
total_token_throughput
--var-y¶
- Y 轴对应的变量。
- 默认值:
median_ttft_ms
--filter-by¶
- 以逗号分隔的语句列表，用于指定过滤条件。这对于剔除异常值非常有用。示例：
max_concurrency<1000,max_num_batched_tokens<=4096表示仅绘制max_concurrency小于 1000 且max_num_batched_tokens不大于 4096 的数据点。 - 默认值:
""
--bin-by¶
- 以逗号分隔的语句列表，用于指定分箱（binning）条件。这有助于避免绘制过于密集的数据点。示例：
request_throughput%%1表示对request_throughput变量使用大小为 1 的箱。 - 默认值:
""
--scale-x¶
- 用于 X 轴的缩放比例。目前仅接受字符串值，如 'log' 和 'sqrt'。另请参阅：https://seaborn.org.cn/generated/seaborn.objects.Plot.scale.html
--scale-y¶
- 用于 Y 轴的缩放比例。目前仅接受字符串值，如 'log' 和 'sqrt'。另请参阅：https://seaborn.org.cn/generated/seaborn.objects.Plot.scale.html
--fig-name¶
- 输出图表文件的前缀名称。存在分组数据时会自动追加。默认值: 'FIGURE'。示例：--fig-name my_performance_plot
- 默认值:
FIGURE
--no-error-bars¶
- 如果设置此项，则禁用图表上的误差棒。默认情况下会显示误差棒。
- 默认值:
False
--fig-height¶
- 每个子图的高度（英寸）。默认值: 6.4
- 默认值:
6.4
--fig-dpi¶
- 输出图表的分辨率（每英寸点数）。默认值: 300
- 默认值：
300
--dry-run¶
- 如果设置此项，则打印每个待绘制图表的信息，然后退出，不进行绘图。
- 默认值:
False