AutoRound¶

AutoRound 是英特尔的先进量化算法，旨在生成高效的 INT2、INT3、INT4 和 INT8 量化大语言模型，在准确性和部署性能之间取得最佳平衡。

AutoRound 对基于 Transformer 的模型应用权重仅量化，能够在保持接近原始准确率的同时，显著节省内存并加快推理速度。它支持多种硬件平台，包括 CPU、Intel GPU、HPU 和支持 CUDA 的设备。

有关更多详细信息，请参阅 AutoRound 指南。

主要特性

✅ 支持 AutoRound、AutoAWQ、AutoGPTQ 和 GGUF

✅ 支持 10+ 视觉语言模型 (VLM)

✅ 支持 每层混合位量化 以进行精细控制

✅ 支持 RTN（四舍五入到最近）模式，可快速量化但准确率略有损失

✅ 支持 多种量化方案：best、base 和 light

✅ 高级实用功能，例如即时打包和对 10+ 后端 的支持

安装¶

uv pip install auto-round

模型量化¶

对于 VLM，请在 CLI 用法中更改为 auto-round-mllm，在 API 用法中更改为 AutoRoundMLLM。

CLI 用法¶

auto-round \
    --model Qwen/Qwen3-0.6B \
    --bits 4 \
    --group_size 128 \
    --format "auto_round" \
    --output_dir ./tmp_autoround

auto-round \
    --model Qwen/Qwen3-0.6B \
    --format "gguf:q4_k_m" \
    --output_dir ./tmp_autoround

API 用法¶

from transformers import AutoModelForCausalLM, AutoTokenizer
from auto_round import AutoRound

model_name = "Qwen/Qwen3-0.6B"
model = AutoModelForCausalLM.from_pretrained(model_name, dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

bits, group_size, sym = 4, 128, True
autoround = AutoRound(model, tokenizer, bits=bits, group_size=group_size, sym=sym)

# the best accuracy, 4-5X slower, low_gpu_mem_usage could save ~20G but ~30% slower
# autoround = AutoRound(model, tokenizer, nsamples=512, iters=1000, low_gpu_mem_usage=True, bits=bits, group_size=group_size, sym=sym)

# 2-3X speedup, slight accuracy drop at W4G128
# autoround = AutoRound(model, tokenizer, nsamples=128, iters=50, lr=5e-3, bits=bits, group_size=group_size, sym=sym )

output_dir = "./tmp_autoround"
# format= 'auto_round'(default), 'auto_gptq', 'auto_awq'
autoround.quantize_and_save(output_dir, format="auto_round")

使用 vLLM 运行量化模型¶

以下是使用 vLLM 运行 auto-round 格式的一些示例代码

from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
]
sampling_params = SamplingParams(temperature=0.6, top_p=0.95)
model_name = "Intel/DeepSeek-R1-0528-Qwen3-8B-int4-AutoRound"
llm = LLM(model=model_name)

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

致谢¶

特别感谢 AutoGPTQ、AutoAWQ、GPTQModel、Triton、Marlin 和 ExLLaMAV2 等开源低精度库，它们提供了低精度 CUDA 内核，AutoRound 利用了这些内核。