BitBLAS

vLLM 现在支持 BitBLAS，以实现更高效灵活的模型推理。与其他量化框架相比，BitBLAS 提供更多精度组合。

注意

确保您的硬件支持选定的 dtype (torch.bfloat16 或 torch.float16)。大多数最新的 NVIDIA GPU 支持 float16，而 bfloat16 在较新的架构如 Ampere 或 Hopper 上更常见。详情请参阅支持的硬件。

以下是使用 vLLM 利用 BitBLAS 的步骤。

pip install bitblas>=0.1.0

vLLM 读取模型的配置文件并支持预量化的检查点。

您可以在以下地方找到预量化模型

• Hugging Face (BitBLAS)
• Hugging Face (GPTQ)

通常，这些仓库包含一个 quantize_config.json 文件，其中包含一个 quantization_config 部分。

读取 bitblas 格式检查点

from vllm import LLM
import torch

# "hxbgsyxh/llama-13b-4bit-g-1-bitblas" is a pre-quantized checkpoint.
model_id = "hxbgsyxh/llama-13b-4bit-g-1-bitblas"
llm = LLM(
    model=model_id,
    dtype=torch.bfloat16,
    trust_remote_code=True,
    quantization="bitblas"
)

读取 gptq 格式检查点

from vllm import LLM
import torch

# "hxbgsyxh/llama-13b-4bit-g-1" is a pre-quantized checkpoint.
model_id = "hxbgsyxh/llama-13b-4bit-g-1"
llm = LLM(
    model=model_id,
    dtype=torch.float16,
    trust_remote_code=True,
    quantization="bitblas",
    max_model_len=1024
)