安装

vLLM 支持以下硬件平台

• GPU
  • NVIDIA CUDA
  • AMD ROCm
  • Intel XPU
• CPU
  • Intel/AMD x86
  • ARM AArch64
  • Apple silicon
  • IBM Z (S390X)

硬件插件

以下后端位于 主 vllm 仓库 之外，并遵循 硬件可插拔 RFC。

加速器	PyPI / 包	仓库
Google TPU	tpu-inference	https://github.com/vllm-project/tpu-inference
Ascend NPU	vllm-ascend	https://github.com/vllm-project/vllm-ascend
Intel Gaudi (HPU)	不适用，从源代码安装	https://github.com/vllm-project/vllm-gaudi
MetaX MACA GPU	不适用，从源代码安装	https://github.com/MetaX-MACA/vLLM-metax
Rebellions ATOM / REBEL NPU	vllm-rbln	https://github.com/rebellions-sw/vllm-rbln
IBM Spyre AIU	vllm-spyre	https://github.com/vllm-project/vllm-spyre
Cambricon MLU	vllm-mlu	https://github.com/Cambricon/vllm-mlu
Baidu Kunlun XPU	不适用，从源代码安装	https://github.com/baidu/vLLM-Kunlun
Sophgo TPU	不适用，从源代码安装	https://github.com/sophgo/vllm-tpu