Llama Stack¶
vLLM 也可通过 Llama Stack 获取。
要安装 Llama Stack,请运行
使用 OpenAI 兼容 API 进行推理¶
然后启动 Llama Stack 服务器,指向您的 vLLM 服务器,并使用以下配置
请参阅 本指南,以了解有关此远程 vLLM 提供程序的更多详细信息。
通过嵌入式 vLLM 进行推理¶
一个 内联 vLLM 提供程序 也可用。这是使用该方法的一个配置示例
vLLM 也可通过 Llama Stack 获取。
要安装 Llama Stack,请运行
然后启动 Llama Stack 服务器,指向您的 vLLM 服务器,并使用以下配置
请参阅 本指南,以了解有关此远程 vLLM 提供程序的更多详细信息。
一个 内联 vLLM 提供程序 也可用。这是使用该方法的一个配置示例