跳到内容

来源 examples/others/logging_configuration.md

日志配置

vLLM 利用 Python 的 logging.config.dictConfig 功能,实现对 vLLM 使用的各种记录器进行强大且灵活的配置。

vLLM 提供了两个环境变量,可用于适应从简单不灵活到更复杂灵活的各种日志配置。

  • 无 vLLM 日志记录(简单不灵活)
  • 设置 VLLM_CONFIGURE_LOGGING=0(不设置 VLLM_LOGGING_CONFIG_PATH
  • vLLM 的默认日志配置(简单不灵活)
  • 保持 VLLM_CONFIGURE_LOGGING 未设置或设置为 VLLM_CONFIGURE_LOGGING=1
  • 细粒度自定义日志配置(更复杂、更灵活)
  • 保持 VLLM_CONFIGURE_LOGGING 未设置或设置为 VLLM_CONFIGURE_LOGGING=1,并设置 VLLM_LOGGING_CONFIG_PATH=<logging-config.json 文件的路径>

日志配置环境变量

VLLM_CONFIGURE_LOGGING

VLLM_CONFIGURE_LOGGING 控制 vLLM 是否采取任何行动来配置其使用的记录器。此功能默认启用,但在运行 vLLM 时可以通过设置 VLLM_CONFIGURE_LOGGING=0 来禁用。

如果 VLLM_CONFIGURE_LOGGING 已启用但未为 VLLM_LOGGING_CONFIG_PATH 指定值,vLLM 将使用内置默认配置来配置根 vLLM 记录器。默认情况下,不会配置其他 vLLM 记录器,因此所有 vLLM 记录器都会参照根 vLLM 记录器来做出所有日志决策。

如果 VLLM_CONFIGURE_LOGGING 已禁用但为 VLLM_LOGGING_CONFIG_PATH 指定了值,vLLM 在启动时会发生错误。

VLLM_LOGGING_CONFIG_PATH

VLLM_LOGGING_CONFIG_PATH 允许用户指定一个 JSON 文件的路径,该文件包含替代的自定义日志配置,将取代 vLLM 的内置默认日志配置。日志配置应遵循 Python 日志配置字典模式 中指定的 JSON 格式。

如果指定了 VLLM_LOGGING_CONFIG_PATH,但 VLLM_CONFIGURE_LOGGING 已禁用,vLLM 在启动时会发生错误。

示例

示例 1:自定义 vLLM 根记录器

在本示例中,我们将自定义 vLLM 根记录器,使用 python-json-logger(它是容器镜像的一部分),以 JSON 格式将日志级别为 INFO 的日志输出到控制台的 STDOUT。

首先,创建合适的 JSON 日志配置文件

/path/to/logging_config.json

{
  "formatters": {
    "json": {
      "class": "pythonjsonlogger.jsonlogger.JsonFormatter"
    }
  },
  "handlers": {
    "console": {
      "class" : "logging.StreamHandler",
      "formatter": "json",
      "level": "INFO",
      "stream": "ext://sys.stdout"
    }
  },
  "loggers": {
    "vllm": {
      "handlers": ["console"],
      "level": "INFO",
      "propagate": false
    }
  },
  "version": 1
}

最后,运行 vLLM,并设置 VLLM_LOGGING_CONFIG_PATH 环境变量为自定义日志配置 JSON 文件的路径

VLLM_LOGGING_CONFIG_PATH=/path/to/logging_config.json \
    vllm serve mistralai/Mistral-7B-v0.1 --max-model-len 2048

示例 2:禁用特定 vLLM 记录器的日志输出

要禁用特定 vLLM 记录器的日志输出,需要为目标记录器提供自定义日志配置,使其不再将日志消息传播到根 vLLM 记录器。

为任何记录器提供自定义配置时,也必须为根 vLLM 记录器提供配置,因为任何自定义记录器配置都会覆盖 vLLM 使用的内置默认日志配置。

首先,创建合适的 JSON 日志配置文件,其中包含根 vLLM 记录器和您希望禁用日志输出的记录器的配置

/path/to/logging_config.json

{
  "formatters": {
    "vllm": {
      "class": "vllm.logging_utils.NewLineFormatter",
      "datefmt": "%m-%d %H:%M:%S",
      "format": "%(levelname)s %(asctime)s %(filename)s:%(lineno)d] %(message)s"
    }
  },
  "handlers": {
    "vllm": {
      "class" : "logging.StreamHandler",
      "formatter": "vllm",
      "level": "INFO",
      "stream": "ext://sys.stdout"
    }
  },
  "loggers": {
    "vllm": {
      "handlers": ["vllm"],
      "level": "DEBUG",
      "propagate": false
    },
    "vllm.example_noisy_logger": {
      "propagate": false
    }
  },
  "version": 1
}

最后,运行 vLLM,并设置 VLLM_LOGGING_CONFIG_PATH 环境变量为自定义日志配置 JSON 文件的路径

VLLM_LOGGING_CONFIG_PATH=/path/to/logging_config.json \
    vllm serve mistralai/Mistral-7B-v0.1 --max-model-len 2048

示例 3:禁用 vLLM 默认日志配置

要禁用 vLLM 的默认日志配置并禁用所有 vLLM 记录器的日志输出,只需在运行 vLLM 时设置 VLLM_CONFIGURE_LOGGING=0。这将阻止 vLLM 配置根 vLLM 记录器,从而禁用所有其他 vLLM 记录器的日志输出。

VLLM_CONFIGURE_LOGGING=0 \
    vllm serve mistralai/Mistral-7B-v0.1 --max-model-len 2048

更多资源