分析 vLLM¶
警告
分析功能仅供 vLLM 开发者和维护者了解代码库不同部分花费的时间比例。vLLM 最终用户绝不应开启分析功能，因为它会显著降低推理速度。
使用 PyTorch Profiler 进行分析¶
我们支持使用 torch.profiler 模块追踪 vLLM worker。您可以通过设置 VLLM_TORCH_PROFILER_DIR 环境变量来启用追踪，将其指向您希望保存追踪文件的目录：VLLM_TORCH_PROFILER_DIR=/mnt/traces/
启动 OpenAI 服务器时，也需要设置 VLLM_TORCH_PROFILER_DIR 环境变量。
使用 benchmarks/benchmark_serving.py 时，可以通过传递 --profile 标志来启用分析。
追踪结果可以使用 https://ui.perfetto.dev/ 进行可视化。
提示
在分析时，只通过 vLLM 发送少量请求，因为追踪文件会非常大。此外，无需解压追踪文件，可以直接查看。
提示
要停止分析器 - 它会将所有分析追踪文件刷新到目录。这需要时间，例如，对于 llama 70b 模型的大约 100 个请求数据，在 H100 上刷新大约需要 10 分钟。在启动服务器之前，将环境变量 VLLM_RPC_TIMEOUT 设置为一个较大的值。例如，设置为 30 分钟。export VLLM_RPC_TIMEOUT=1800000
示例命令和用法¶
离线推理¶
请参考 examples/offline_inference/simple_profiling.py 查看示例。
OpenAI 服务器¶
VLLM_TORCH_PROFILER_DIR=./vllm_profile python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3-70B
benchmark_serving.py
python benchmarks/benchmark_serving.py --backend vllm --model meta-llama/Meta-Llama-3-70B --dataset-name sharegpt --dataset-path sharegpt.json --profile --num-prompts 2
使用 NVIDIA Nsight Systems 进行分析¶
Nsight Systems 是一款高级工具，可暴露更多分析细节，例如寄存器和共享内存使用情况、带注解的代码区域以及低级 CUDA API 和事件。
使用您的包管理器安装 nsight-systems。以下块是 Ubuntu 的一个示例。
apt update
apt install -y --no-install-recommends gnupg
echo "deb http://developer.download.nvidia.com/devtools/repos/ubuntu$(source /etc/lsb-release; echo "$DISTRIB_RELEASE" | tr -d .)/$(dpkg --print-architecture) /" | tee /etc/apt/sources.list.d/nvidia-devtools.list
apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
apt update
apt install nsight-systems-cli
示例命令和用法¶
离线推理¶
对于基本用法，您只需在运行离线推理的任何现有脚本之前添加 nsys profile -o report.nsys-rep --trace-fork-before-exec=true --cuda-graph-trace=node。
以下是使用 benchmarks/benchmark_latency.py 脚本的示例
nsys profile -o report.nsys-rep --trace-fork-before-exec=true --cuda-graph-trace=node python benchmarks/benchmark_latency.py --model meta-llama/Llama-3.1-8B-Instruct --num-iters-warmup 5 --num-iters 1 --batch-size 16 --input-len 512 --output-len 8
OpenAI 服务器¶
要分析服务器，您需要在 vllm serve 命令前加上 nsys profile，就像离线推理一样，但您必须根据基准测试的需求指定 --delay XX --duration YY 参数。持续时间用尽后，服务器将被终止。
# server
nsys profile -o report.nsys-rep --trace-fork-before-exec=true --cuda-graph-trace=node --delay 30 --duration 60 vllm serve meta-llama/Llama-3.1-8B-Instruct
# client
python benchmarks/benchmark_serving.py --backend vllm --model meta-llama/Llama-3.1-8B-Instruct --num-prompts 1 --dataset-name random --random-input 1024 --random-output 512
实际上，您应该将 --duration 参数设置为一个较大的值。当您想让服务器停止分析时，运行
以获取格式为 profile-XXXXX 的会话 ID，然后运行
手动终止分析器并生成您的 nsys-rep 报告。
分析¶
您可以在 CLI 中使用 nsys stats [profile-file] 命令将这些分析结果作为摘要查看，或者通过此处的说明在本地安装 Nsight 后在 GUI 中查看。
CLI 示例
nsys stats report1.nsys-rep
...
** CUDA GPU Kernel Summary (cuda_gpu_kern_sum):
Time (%) Total Time (ns) Instances Avg (ns) Med (ns) Min (ns) Max (ns) StdDev (ns) Name
-------- --------------- --------- ----------- ----------- -------- --------- ----------- ----------------------------------------------------------------------------------------------------
46.3 10,327,352,338 17,505 589,965.9 144,383.0 27,040 3,126,460 944,263.8 sm90_xmma_gemm_bf16bf16_bf16f32_f32_tn_n_tilesize128x128x64_warpgroupsize1x1x1_execute_segment_k_of…
14.8 3,305,114,764 5,152 641,520.7 293,408.0 287,296 2,822,716 867,124.9 sm90_xmma_gemm_bf16bf16_bf16f32_f32_tn_n_tilesize256x128x64_warpgroupsize2x1x1_execute_segment_k_of…
12.1 2,692,284,876 14,280 188,535.4 83,904.0 19,328 2,862,237 497,999.9 sm90_xmma_gemm_bf16bf16_bf16f32_f32_tn_n_tilesize64x128x64_warpgroupsize1x1x1_execute_segment_k_off…
9.5 2,116,600,578 33,920 62,399.8 21,504.0 15,326 2,532,285 290,954.1 sm90_xmma_gemm_bf16bf16_bf16f32_f32_tn_n_tilesize64x64x64_warpgroupsize1x1x1_execute_segment_k_off_…
5.0 1,119,749,165 18,912 59,208.4 9,056.0 6,784 2,578,366 271,581.7 void vllm::act_and_mul_kernel<c10::BFloat16, &vllm::silu_kernel<c10::BFloat16>, (bool)1>(T1 *, cons…
4.1 916,662,515 21,312 43,011.6 19,776.0 8,928 2,586,205 199,790.1 void cutlass::device_kernel<flash::enable_sm90_or_later<flash::FlashAttnFwdSm90<flash::CollectiveMa…
2.6 587,283,113 37,824 15,526.7 3,008.0 2,719 2,517,756 139,091.1 std::enable_if<T2>(int)0&&vllm::_typeConvert<T1>::exists, void>::type vllm::fused_add_rms_norm_kern…
1.9 418,362,605 18,912 22,121.5 3,871.0 3,328 2,523,870 175,248.2 void vllm::rotary_embedding_kernel<c10::BFloat16, (bool)1>(const long *, T1 *, T1 *, const T1 *, in…
0.7 167,083,069 18,880 8,849.7 2,240.0 1,471 2,499,996 101,436.1 void vllm::reshape_and_cache_flash_kernel<__nv_bfloat16, __nv_bfloat16, (vllm::Fp8KVCacheDataType)0…
...
GUI 示例
分析 vLLM Python 代码¶
Python 标准库包含用于分析 Python 代码的 cProfile。vLLM 包含一些帮助函数，可以轻松地将其应用于 vLLM 的某个部分。vllm.utils.cprofile 和 vllm.utils.cprofile_context 函数都可以用于分析代码块。
示例用法 - 装饰器¶
第一个帮助函数是一个 Python 装饰器，可用于分析函数。如果指定了文件名，分析结果将保存到该文件。如果没有指定文件名，分析数据将打印到标准输出 (stdout)。
import vllm.utils
@vllm.utils.cprofile("expensive_function.prof")
def expensive_function():
# some expensive code
pass
示例用法 - 上下文管理器¶
第二个帮助函数是一个上下文管理器，可用于分析代码块。与装饰器类似，文件名是可选的。
import vllm.utils
def another_function():
# more expensive code
pass
with vllm.utils.cprofile_context("another_function.prof"):
another_function()
分析分析结果¶
有多种工具可用于帮助分析分析结果。一个例子是 snakeviz。