基准测试套件

vLLM 包含两组基准测试

• 性能基准测试
• 夜间基准测试

性能基准测试

性能基准测试用于开发过程中，以确认新更改在各种工作负载下是否提高了性能。当每个带有 perf-benchmarks 和 ready 标签的提交以及 PR 合并到 vLLM 时，都会触发它们。

最新的性能结果托管在公共的 vLLM 性能仪表板上。

有关性能基准测试及其参数的更多信息，请在此处查看。

夜间基准测试

这些基准测试用于在 vLLM 进行重大更新（例如，升级到新版本）时，将 vLLM 的性能与替代方案（tgi、trt-llm 和 lmdeploy）进行比较。它们主要面向用户，用于评估何时选择 vLLM 而非其他选项，并且在每个带有 perf-benchmarks 和 nightly-benchmarks 标签的提交时触发。

最新的夜间基准测试结果在主要版本博客文章中分享，例如vLLM v0.6.0。

有关夜间基准测试及其参数的更多信息，请在此处查看。