vllm complete¶
参数¶
--url¶
正在运行的 OpenAI 兼容 RESTful API 服务器的 url
默认: https://:8000/v1
--model-name¶
在提示完成中使用的模型名称，默认为 list models API 调用中的第一个模型。
默认值: None
--api-key¶
OpenAI 服务的 API 密钥。如果提供，此 API 密钥将覆盖通过环境变量获取的 API 密钥。需要注意的是，此选项仅适用于 OpenAI 兼容的 API 端点，而不适用于服务器中可能存在的其他端点。有关更多详细信息，请参阅 vLLM 文档中的安全指南。
默认值: None
--max-tokens¶
每个输出序列要生成的最大 token 数。
默认值: None
-q, --quick¶
发送单个提示并打印完成输出，然后退出。
默认值: None