安装

vLLM 支持以下硬件平台

• GPU
  • NVIDIA CUDA
  • AMD ROCm
  • Intel XPU
• CPU
  • Intel/AMD x86
  • ARM AArch64
  • Apple 芯片
  • IBM Z (S390X)
• Google TPU
• Intel Gaudi
• AWS Neuron