PyTorch 脚本剖析

注意

此方法是端到端剖析的一部分，如果已完成端到端剖析，则无需单独执行。

要使用 PyTorch 跟踪工具跟踪独立 Python 脚本中的特定代码段，请遵循以下步骤

1. 设置输出目录。

   export VLLM_TORCH_PROFILER_DIR=/tmp
   

2. 通过指示 LLM 对象开始和停止剖析来在脚本中启用跟踪。

   from vllm import LLM, SamplingParams
   llm = LLM(model="facebook/opt-125m")
   llm.start_profile() # Start profiling
   outputs = llm.generate(["San Francisco is a"])
   llm.stop_profile() # Stop profiling
   

执行此过程将生成一个 *.pt.trace.json.gz 文件，该文件可以使用 Perfetto 打开。