安装

vLLM 支持以下硬件平台

• GPU
  • NVIDIA CUDA
  • AMD ROCm
  • 英特尔 XPU
• CPU
  • 英特尔/AMD x86
  • ARM AArch64
  • Apple 芯片
  • IBM Z (S390X)
• 其他 AI 加速器
  • Google TPU
  • 英特尔 Gaudi
  • AWS Neuron