服务器参数

vllm serve 命令用于启动 OpenAI 兼容服务器。

CLI 参数

vllm serve 命令用于启动 OpenAI 兼容服务器。要查看可用的 CLI 参数，请运行 vllm serve --help!

配置文件

您可以通过 YAML 配置文件加载 CLI 参数。参数名称必须是 上方 概述的长格式名称。

例如

# config.yaml

model: meta-llama/Llama-3.1-8B-Instruct
host: "127.0.0.1"
port: 6379
uvicorn-log-level: "info"

使用上述配置文件

vllm serve --config config.yaml

注意

如果同时使用命令行和配置文件提供参数，则以命令行的值优先。优先级顺序是 命令行 > 配置文件值 > 默认值。例如，对于 vllm serve SOME_MODEL --config config.yaml，SOME_MODEL 优先于配置文件中的 model。