服务器参数¶

vllm serve 命令用于启动兼容 OpenAI 的服务器。

命令行参数¶

vllm serve 命令用于启动兼容 OpenAI 的服务器。欲查看可用选项，请参阅 CLI 参考手册！

你可以通过 YAML 配置文件来加载命令行参数。参数名称必须使用上述文档中列出的长格式名称。

例如

# config.yaml

model: meta-llama/Llama-3.1-8B-Instruct
host: "127.0.0.1"
port: 6379
uvicorn-log-level: "info"

使用上述配置文件的方法

vllm serve --config config.yaml

注意

如果同时在命令行和配置文件中提供了同一参数，命令行中的值将具有优先权。优先级顺序为：命令行 > 配置文件值 > 默认值。例如：vllm serve SOME_MODEL --config config.yaml，SOME_MODEL 的优先级高于配置文件中 model 的值。