推测解码

警告

请注意，vLLM 中的推测解码尚未优化，并且通常不会为所有提示数据集或采样参数带来token间延迟的降低。优化工作正在进行中，可以在此处关注：Issue #4630

警告

目前，vLLM 中的推测解码与流水线并行不兼容。

本文档展示了如何在 vLLM 中使用推测解码。推测解码是一种技术，可以提高内存受限的 LLM 推理中的 token 间延迟。

使用草稿模型进行推测

以下代码配置 vLLM 在离线模式下使用推测解码和草稿模型，一次推测 5 个 token。

from vllm import LLM, SamplingParams

prompts = [
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(
    model="facebook/opt-6.7b",
    tensor_parallel_size=1,
    speculative_model="facebook/opt-125m",
    num_speculative_tokens=5,
)
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

要在线模式下执行相同的操作，请启动服务器

python -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --port 8000 --model facebook/opt-6.7b \
    --seed 42 -tp 1 --speculative_model facebook/opt-125m \
    --num_speculative_tokens 5 --gpu_memory_utilization 0.8

然后使用客户端

from openai import OpenAI

# Modify OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "https://127.0.0.1:8000/v1"

client = OpenAI(
    # defaults to os.environ.get("OPENAI_API_KEY")
    api_key=openai_api_key,
    base_url=openai_api_base,
)

models = client.models.list()
model = models.data[0].id

# Completion API
stream = False
completion = client.completions.create(
    model=model,
    prompt="The future of AI is",
    echo=False,
    n=1,
    stream=stream,
)

print("Completion results:")
if stream:
    for c in completion:
        print(c)
else:
    print(completion)

通过匹配提示中的 n-gram 进行推测

以下代码配置 vLLM 使用推测解码，其中提议通过匹配提示中的 n-gram 生成。有关更多信息，请阅读此帖子。

from vllm import LLM, SamplingParams

prompts = [
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(
    model="facebook/opt-6.7b",
    tensor_parallel_size=1,
    speculative_model="[ngram]",
    num_speculative_tokens=5,
    ngram_prompt_lookup_max=4,
)
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

使用 MLP 推测器进行推测

以下代码配置 vLLM 使用推测解码，其中提议由草稿模型生成，这些模型根据上下文向量和采样的 token 进行草稿预测。有关更多信息，请参阅此博客或此技术报告。

from vllm import LLM, SamplingParams

prompts = [
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(
    model="meta-llama/Meta-Llama-3.1-70B-Instruct",
    tensor_parallel_size=4,
    speculative_model="ibm-ai-platform/llama3-70b-accelerator",
    speculative_draft_tensor_parallel_size=1,
)
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

请注意，这些推测模型目前需要在没有张量并行的情况下运行，尽管可以使用张量并行来运行主模型（请参阅上面的示例）。由于推测模型相对较小，我们仍然可以看到显着的加速。但是，此限制将在未来的版本中修复。

HF Hub 上提供了各种此类推测模型

• llama-13b-accelerator

• llama3-8b-accelerator

• codellama-34b-accelerator

• llama2-70b-accelerator

• llama3-70b-accelerator

• granite-3b-code-instruct-accelerator

• granite-8b-code-instruct-accelerator

• granite-7b-instruct-accelerator

• granite-20b-code-instruct-accelerator

使用基于 EAGLE 的草稿模型进行推测

以下代码配置 vLLM 使用推测解码，其中提议由基于 EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) 的草稿模型生成。

from vllm import LLM, SamplingParams

prompts = [
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    tensor_parallel_size=4,
    speculative_model="yuhuili/EAGLE-LLaMA3-Instruct-8B",
    speculative_draft_tensor_parallel_size=1,
)

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

使用基于 EAGLE 的草稿模型时，需要考虑以下几点重要事项

1. EAGLE 模型 HF 仓库中提供的 EAGLE 草稿模型应该能够在 PR 12304 之后直接被 vLLM 加载和使用。如果您使用的 vllm 版本早于 PR 12304，请使用 脚本 转换推测模型，并指定 speculative_model="path/to/modified/eagle/model"。如果在使用最新版本的 vLLM 时仍然出现权重加载问题，请留言或提出 issue。

2. 基于 EAGLE 的草稿模型需要在没有张量并行的情况下运行（即 speculative_draft_tensor_parallel_size 设置为 1），尽管可以使用张量并行来运行主模型（请参阅上面的示例）。

3. 当将基于 EAGLE 的推测器与 vLLM 一起使用时，观察到的加速低于参考实现 此处 报告的加速。此问题正在调查中，并在此处跟踪：vllm-project/vllm#9565。

Hugging Face Hub 上提供了各种 EAGLE 草稿模型

基础模型	Hugging Face 上的 EAGLE	# EAGLE 参数
Vicuna-7B-v1.3	yuhuili/EAGLE-Vicuna-7B-v1.3	0.24B
Vicuna-13B-v1.3	yuhuili/EAGLE-Vicuna-13B-v1.3	0.37B
Vicuna-33B-v1.3	yuhuili/EAGLE-Vicuna-33B-v1.3	0.56B
LLaMA2-Chat 7B	yuhuili/EAGLE-llama2-chat-7B	0.24B
LLaMA2-Chat 13B	yuhuili/EAGLE-llama2-chat-13B	0.37B
LLaMA2-Chat 70B	yuhuili/EAGLE-llama2-chat-70B	0.99B
Mixtral-8x7B-Instruct-v0.1	yuhuili/EAGLE-mixtral-instruct-8x7B	0.28B
LLaMA3-Instruct 8B	yuhuili/EAGLE-LLaMA3-Instruct-8B	0.25B
LLaMA3-Instruct 70B	yuhuili/EAGLE-LLaMA3-Instruct-70B	0.99B
Qwen2-7B-Instruct	yuhuili/EAGLE-Qwen2-7B-Instruct	0.26B
Qwen2-72B-Instruct	yuhuili/EAGLE-Qwen2-72B-Instruct	1.05B

推测解码的无损保证

在 vLLM 中，推测解码旨在提高推理效率，同时保持准确性。本节讨论推测解码的无损保证，将保证分解为三个关键领域

1. 理论无损性 - 推测解码采样在理论上是无损的，直到硬件数值的精度限制。如 Accelerating Large Language Model Decoding with Speculative Sampling 中讨论的，浮点错误可能会导致输出分布的轻微变化

2. 算法无损性 - vLLM 的推测解码实现经过算法验证是无损的。关键验证测试包括

   • 拒绝采样器收敛：确保 vLLM 拒绝采样器的样本与目标分布对齐。查看测试代码

   • 贪婪采样相等性：确认使用推测解码的贪婪采样与不使用推测解码的贪婪采样相匹配。这验证了 vLLM 的推测解码框架，当与 vLLM 前向传递和 vLLM 拒绝采样器集成时，提供了无损保证。tests/spec_decode/e2e 中的几乎所有测试都使用 此断言实现 验证了此属性

3. vLLM Logprob 稳定性 - vLLM 目前不保证稳定的 token 对数概率 (logprobs)。这可能会导致同一请求在不同运行中产生不同的输出。有关更多详细信息，请参阅 常见问题解答 中标题为 提示的输出在 vLLM 的不同运行中是否会发生变化？ 的 FAQ 部分。

虽然 vLLM 努力确保推测解码的无损性，但由于以下因素，使用和不使用推测解码生成的输出可能会出现差异

• 浮点精度：硬件数值精度的差异可能会导致输出分布的细微差异。

• 批量大小和数值稳定性：批量大小的更改可能会导致 logprobs 和输出概率的变化，这可能是由于批量操作中的非确定性行为或数值不稳定性。

有关缓解策略，请参阅 常见问题解答 中 提示的输出在 vLLM 的不同运行中是否会发生变化？ 的 FAQ 条目。

vLLM 贡献者资源

• vLLM 推测解码黑客指南

• vLLM 中的前瞻调度是什么？

• 有关批量扩展的信息

• 动态推测解码