跳到内容

Server Arguments

vllm serve 命令用于启动 OpenAI 兼容的服务器。

CLI Arguments

vllm serve 命令用于启动 OpenAI 兼容的服务器。要查看可用选项，请参阅 CLI Reference！

Configuration file

您可以通过 YAML 配置文件加载 CLI 参数。参数名称必须是 上面 列出的长形式。

例如

# config.yaml

model: meta-llama/Llama-3.1-8B-Instruct
host: "127.0.0.1"
port: 6379
uvicorn-log-level: "info"

To use the above config file

vllm serve --config config.yaml

注意

如果一个参数同时通过命令行和配置文件提供，命令行中的值将具有优先权。优先顺序是 命令行 > 配置文件值 > 默认值。例如，vllm serve SOME_MODEL --config config.yaml，SOME_MODEL 的优先级高于配置文件中的 model。