欢迎来到 vLLM#

为所有人提供简单、快速且廉价的 LLM 服务
vLLM 是一个快速且易于使用的库,用于 LLM 推理和服务。
vLLM 最初在加州大学伯克利分校的 Sky Computing Lab 开发,现已发展成为一个社区驱动的项目,汇集了学术界和工业界的贡献。
vLLM 速度快,具有:
最先进的服务吞吐量
使用 PagedAttention 高效管理注意力键和值内存
持续批处理传入请求
使用 CUDA/HIP 图快速模型执行
优化的 CUDA 内核,包括与 FlashAttention 和 FlashInfer 的集成。
推测解码
分块预填充
vLLM 灵活且易于使用,具有:
与流行的 HuggingFace 模型无缝集成
使用各种解码算法(包括并行采样、束搜索等)实现高吞吐量服务
张量并行和流水线并行支持分布式推理
流式输出
OpenAI 兼容的 API 服务器
支持 NVIDIA GPU、AMD CPU 和 GPU、Intel CPU、Gaudi® 加速器和 GPU、IBM Power CPU、TPU 以及 AWS Trainium 和 Inferentia 加速器。
前缀缓存支持
Multi-LoRA 支持
欲了解更多信息,请查看以下内容
vLLM 发布博客文章 (PagedAttention 简介)
vLLM 论文 (SOSP 2023)
文档#
设计文档
V1 设计文档
开发者指南