安装

vLLM 支持以下硬件平台

• GPU

  • NVIDIA CUDA

  • AMD ROCm

  • Intel XPU

• CPU

  • Intel/AMD x86

  • ARM AArch64

  • Apple 芯片

• 其他 AI 加速器

  • Google TPU

  • Intel Gaudi

  • AWS Neuron

  • OpenVINO