Llama Stack

vLLM 也可通过 Llama Stack 获取。

要安装 Llama Stack，运行

pip install llama-stack -q

使用 OpenAI 兼容 API 进行推理

然后启动 Llama Stack 服务器，将其指向您的 vLLM 服务器，并使用以下配置

inference:
  - provider_id: vllm0
    provider_type: remote::vllm
    config:
      url: http://127.0.0.1:8000

请参考本指南，了解有关此远程 vLLM 提供程序的更多详细信息。

通过嵌入式 vLLM 进行推理

还提供了一个内联 vLLM 提供程序。这是一个使用该方法的配置示例

inference
  - provider_type: vllm
    config:
      model: Llama3.1-8B-Instruct
      tensor_parallel_size: 4