LlamaIndex

vLLM 也可通过 LlamaIndex 使用。

要安装 LlamaIndex，请运行

pip install llama-index-llms-vllm -q

要在单个或多个 GPU 上运行推理，请使用 llamaindex 中的 Vllm 类。

from llama_index.llms.vllm import Vllm

llm = Vllm(
    model="microsoft/Orca-2-7b",
    tensor_parallel_size=4,
    max_new_tokens=100,
    vllm_kwargs={"gpu_memory_utilization": 0.5},
)

详情请参阅此 教程。