vLLM-Omni CLI 指南

vLLM-Omni 的 CLI 继承自 vllm，并增加了一些额外的参数。

serve

启动 vLLM-Omni 兼容 OpenAI 的 API 服务器。

启动一个模型

vllm serve Qwen/Qwen2.5-Omni-7B --omni

指定端口

vllm serve Qwen/Qwen2.5-Omni-7B --omni --port 8091

如果您有自定义的阶段配置文件，请使用以下命令启动服务器

vllm serve Qwen/Qwen2.5-Omni-7B --omni --stage-configs-path /path/to/stage_configs_file