vllm complete¶
参数¶
--url¶
- 正在运行的兼容 OpenAI 的 RESTful API 服务器的 URL
- 默认值:
https://:8000/v1
--model-name¶
- 用于提示词补全的模型名称，默认为 list models API 调用中的第一个模型。
--api-key¶
- 用于 OpenAI 服务的 API 密钥。如果提供，此 API 密钥将覆盖通过环境变量获取的 API 密钥。需要注意的是，此选项仅适用于兼容 OpenAI 的 API 端点，而不适用于服务器中可能存在的其他端点。更多详情请参阅 vLLM 文档中的安全指南。
--max-tokens¶
- 每个输出序列生成的最大 token 数。
-q, --quick¶
- 发送单个提示词并打印补全输出，然后退出。