基准测试套件#
vLLM 包含两组基准测试
性能基准#
性能基准用于开发，以确认新更改是否提高了各种工作负载下的性能。它们在每次提交时都会触发，同时带有 perf-benchmarks 和 ready 标签，以及当 PR 合并到 vLLM 时。
最新的性能结果托管在公共 vLLM 性能仪表板上。
有关性能基准及其参数的更多信息，请点击此处。
每晚基准#
这些基准测试在 vLLM 进行重大更新时（例如，升级到新版本）比较 vLLM 与替代方案（tgi、trt-llm 和 lmdeploy）的性能。它们主要供消费者评估何时选择 vLLM 而不是其他选项，并在每次提交时触发，同时带有 perf-benchmarks 和 nightly-benchmarks 标签。
最新的每晚基准测试结果在主要版本博客文章中分享，例如 vLLM v0.6.0。
有关每晚基准测试及其参数的更多信息，请点击此处。