vllm chat

参数

--url

运行的 OpenAI 兼容 RESTful API 服务器的 URL

默认: https://:8000/v1

--model-name

用于提示完成的模型名称，默认为 list models API 调用中的第一个模型。

默认值: None

--api-key

OpenAI 服务的 API 密钥。如果提供，此 API 密钥将覆盖通过环境变量获取的 API 密钥。需要注意的是，此选项仅适用于 OpenAI 兼容的 API 端点，而不适用于服务器中可能存在的其他端点。有关更多详细信息，请参阅 vLLM 文档中的安全指南。

默认值: None

--system-prompt

添加到聊天模板的系统提示，用于支持系统提示的模型。

默认值: None

-q, --quick

将单个提示作为 MESSAGE 发送并打印响应，然后退出。

默认值: None