基准测试套件¶
vLLM 包含两套基准测试
性能基准测试¶
性能基准测试用于开发，以确认新更改在各种工作负载下是否提高了性能。它们在每次提交时（带有 `perf-benchmarks` 和 `ready` 标签）以及当 PR 合并到 vLLM 时触发。
最新的性能结果托管在公开的 vLLM 性能仪表板上。
有关性能基准测试及其参数的更多信息，请此处查看。
夜间基准测试¶
当 vLLM 有重大更新（例如，升级到新版本）时，这些基准测试会比较 vLLM 与其他替代方案（`tgi`、`trt-llm` 和 `lmdeploy`）的性能。它们主要旨在供用户评估何时选择 vLLM 而非其他选项，并在每次提交时（带有 `perf-benchmarks` 和 `nightly-benchmarks` 标签）触发。
最新的夜间基准测试结果在主要版本博客文章中分享，例如vLLM v0.6.0。
有关夜间基准测试及其参数的更多信息，请此处查看。