校准单个节点

此过程解释了如何为单个 Intel® Gaudi® 节点执行校准。

先决条件

在开始之前，请熟悉 注意事项和建议。

校准过程

1. 通过遵循 安装 过程，构建并安装最新版本的 Intel® Gaudi® 的 vLLM 硬件插件。

2. 在插件项目目录中，导航到 calibration 子目录并安装所需的依赖项。

   cd calibration
   pip install -r requirements.txt
   

3. 下载数据集。

4. 使用强制性的 -m、-d 和 -o 参数运行 calibrate_model.sh 脚本，如下面的示例所示

   ./calibrate_model.sh -m /path/to/local/llama3.1/Meta-Llama-3.1-405B-Instruct/ -d dataset-processed.pkl -o /path/to/measurements/vllm-benchmarks/inc -b 128 -t 8 -l 4096
   # OR
   ./calibrate_model.sh -m facebook/opt-125m -d dataset-processed.pkl -o inc/
   # OR Calibrate DeepSeek models with dataset NeelNanda/pile-10k
   PT_HPU_LAZY_MODE=1 ./calibrate_model.sh -m deepseek-ai/DeepSeek-R1  -d NeelNanda/pile-10k -o inc/ -t 8
   

   其中

• -m <path/ID>：本地存储的模型路径或来自 Hugging Face hub 的模型 ID。
• -d <path>： pickle (.pkl) 格式的源数据集路径。
• -o <path>：您希望保存生成测量值的目录路径。