服务器参数

vllm serve 命令用于启动 OpenAI 兼容服务器。

CLI 参数

vllm serve 命令用于启动 OpenAI 兼容服务器。要查看可用选项，请参阅CLI 参考！

配置文件

您可以通过 YAML 配置文件加载 CLI 参数。参数名称必须是 上面列出的参数的完整形式。

例如

# config.yaml

model: meta-llama/Llama-3.1-8B-Instruct
host: "127.0.0.1"
port: 6379
uvicorn-log-level: "info"

要使用上述配置文件

vllm serve --config config.yaml

注意

如果一个参数同时通过命令行和配置文件提供，则命令行中的值将具有优先权。优先级顺序为 命令行 > 配置文件值 > 默认值。例如，vllm serve SOME_MODEL --config config.yaml 中，SOME_MODEL 优先于配置文件中的 model。