`AutoRound` 量化

llm-compressor 支持 AutoRound，这是一种先进的量化技术，可提供高精度、低比特量化。量化结果与 compressed-tensors 完全兼容，并且可以直接与 vLLM 一起部署。

AutoRound 引入了三个可训练参数（V、α 和 β）来优化量化过程中的舍入值和裁剪范围。该方法按顺序处理每个解码器层，使用块状输出重建误差作为训练目标来微调这些参数。这种方法将训练后量化的效率与参数调整的适应性相结合，为大型语言模型提供强大的压缩，同时保持出色的性能。

安装

首先，安装

git clone https://github.com/vllm-project/llm-compressor.git
cd llm-compressor
pip install -e .

快速入门

该示例包括一个用于应用 AutoRound 量化算法的端到端脚本。

python3 llama3_example.py

生成的模型 Meta-Llama-3-8B-Instruct-W4A16-G128-AutoRound 已准备好加载到 vLLM 中。

代码演练

现在，我们将逐步介绍示例中的代码。有四个步骤：1) 加载模型 2) 准备校准数据 3) 应用量化 4) 在 vLLM 中评估准确度

1) 加载模型

使用 AutoModelForCausalLM 加载模型，以处理量化保存和加载。

from transformers import AutoTokenizer, AutoModelForCausalLM

MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)

2) 准备校准数据

使用 AutoRound 量化模型权重时，您需要少量样本数据来运行算法。默认情况下，我们使用 NeelNanda/pile-10k 作为我们的校准数据集。建议的起点：- 128 个样本 — 通常足以实现稳定的校准（如果准确度下降，请增加）。- 2048 序列长度 — 对于大多数 LLM 来说是一个不错的基准。- 200 个调优步 — 通常足以收敛（如果准确度下降，请增加）。

# Select calibration dataset.
from auto_round.calib_dataset import get_dataset

NUM_CALIBRATION_SAMPLES = 128
MAX_SEQUENCE_LENGTH = 2048

# Get aligned calibration dataset.
ds = get_dataset(
    tokenizer=tokenizer,
    seqlen=MAX_SEQUENCE_LENGTH,
    nsamples=NUM_CALIBRATION_SAMPLES,
)

3) 应用量化

数据集准备就绪后，我们将现在将 AutoRound 量化应用于模型。

from llmcompressor import oneshot
from llmcompressor.modifiers.autoround import AutoRoundModifier

# Configure the quantization algorithm to run.
recipe = AutoRoundModifier(
    targets="Linear", scheme="W4A16", ignore=["lm_head"], iters=200
)

# Apply quantization.
oneshot(
    model=model,
    dataset=ds,
    recipe=recipe,
    max_seq_length=MAX_SEQUENCE_LENGTH,
    num_calibration_samples=NUM_CALIBRATION_SAMPLES,
    # disable shuffling to get slightly better mmlu score
    shuffle_calibration_samples=False,
)


# Save to disk compressed.
SAVE_DIR = MODEL_ID.rstrip("/").split("/")[-1] + "-W4A16-G128-AutoRound"
model.save_pretrained(SAVE_DIR, save_compressed=True)
tokenizer.save_pretrained(SAVE_DIR)

我们已成功创建了一个 int4 模型！

4) 评估准确性

模型创建后，我们现在可以在 vLLM 中加载和运行（安装后）。

from vllm import LLM
model = LLM("./Meta-Llama-3-8B-Instruct-W4A16-G128-AutoRound")

我们可以使用 lm_eval（pip install lm-eval==0.4.9.1）评估准确度。

注意：量化模型可能对 bos 令牌的存在敏感。lm_eval 默认不添加 bos 令牌，因此请确保在运行评估时包含 add_bos_token=True 参数。

运行以下命令以测试 GSM-8K 上的准确性

lm_eval --model vllm \
  --model_args pretrained="./Meta-Llama-3-8B-Instruct-W4A16-G128-AutoRound",add_bos_token=true \
  --tasks gsm8k \
  --num_fewshot 5 \
  --limit 1000 \
  --batch_size 'auto'

我们可以看到结果分数看起来不错！

| Tasks | Version | Filter           | n-shot | Metric      |     | Value |     | Stderr |
| ----- | ------: | ---------------- | -----: | ----------- | --- | ----: | --- | -----: |
| gsm8k |       3 | flexible-extract |      5 | exact_match | ↑   | 0.737 | ±   | 0.0139 |
|       |         | strict-match     |      5 | exact_match | ↑   | 0.736 | ±   | 0.0139 |

注意：由于非确定性，量化模型的准确度可能会略有不同。

已知问题

目前，llm-compressor 只支持在 wNa16 量化方案上应用 AutoRound。计划支持其他方案。您可以在 RFC 中关注进展。

问题或功能请求？

请在 vllm-project/llm-compressor 或 intel/auto-round 上提交 issue。