Contributing to vLLM

Contributing to vLLM#

感谢您对 vLLM 做出贡献的兴趣！我们的社区对所有人开放，欢迎各种贡献，无论大小。您可以通过以下几种方式为该项目做出贡献

  • 识别并报告任何问题或错误。

  • 请求或添加对新模型的支持。

  • 建议或实施新功能。

  • 改进文档或贡献操作指南。

我们也相信社区支持的力量；因此，回答问题、提供 PR 审查和帮助他人也是备受推崇且有益的贡献。

最后，支持我们最有效的方式之一是提高对 vLLM 的认识。在您的博客文章中谈论它，并强调它如何推动您的出色项目。如果您正在使用 vLLM，请在社交媒体上表达您的支持，或者只是通过为我们的仓库加星来表达您的感谢！

License#

请参阅 LICENSE。

Developing#

根据您想要进行的开发类型（例如 Python、CUDA），您可以选择编译或不编译 vLLM。查看从源代码构建文档以了解详细信息。

Testing#

pip install -r requirements-dev.txt

# Linting, formatting and static type checking
pre-commit install --hook-type pre-commit --hook-type commit-msg

# You can manually run pre-commit with
pre-commit run --all-files

# Unit tests
pytest tests/

注意

目前，仓库尚未完全通过 mypy 检查。

Issues#

如果您遇到错误或有功能请求，请先搜索现有问题，看看是否已被报告。如果没有，请提交新问题，并提供尽可能多的相关信息。

重要提示

如果您发现安全漏洞，请按照此处的说明进行操作。

Pull Requests & Code Reviews#

感谢您对 vLLM 的贡献！在提交拉取请求之前，请确保 PR 符合以下标准。这有助于 vLLM 维护代码质量并提高审查过程的效率。

DCO and Signed-off-by#

当为此项目贡献更改时，您必须同意 DCO。提交必须包含 Signed-off-by: 标头，以证明同意 DCO 的条款。

将 -s 与 git commit 一起使用将自动添加此标头。

PR Title and Classification#

仅特定类型的 PR 将被审查。PR 标题带有适当的前缀，以指示更改的类型。请使用以下其中一项

  • [Bugfix] 用于错误修复。

  • [CI/Build] 用于构建或持续集成改进。

  • [Doc] 用于文档修复和改进。

  • [Model] 用于添加新模型或改进现有模型。模型名称应出现在标题中。

  • [Frontend] 用于 vLLM 前端的更改（例如，OpenAI API 服务器、LLM 类等）

  • [Kernel] 用于影响 CUDA 内核或其他计算内核的更改。

  • [Core] 用于核心 vLLM 逻辑的更改（例如，LLMEngine、AsyncLLMEngine、Scheduler 等）

  • [Hardware][Vendor] 用于特定于硬件的更改。供应商名称应出现在前缀中（例如，[Hardware][AMD]）。

  • [Misc] 用于不属于上述类别的 PR。请谨慎使用。

注意

如果 PR 跨越多个类别，请包含所有相关前缀。

Code Quality#

PR 需要满足以下代码质量标准

  • 我们遵守 Google Python 风格指南 和 Google C++ 风格指南。

  • 通过所有 linter 检查。请使用 pre-commit 格式化您的代码。如果 pre-commit 对您来说是新的，请参阅 https://pre-commit.git-scm.cn/#usage。

  • 代码需要有良好的文档记录，以确保未来的贡献者可以轻松理解代码。

  • 包含足够的测试，以确保项目保持正确和健壮。这包括单元测试和集成测试。

  • 如果 PR 修改了 vLLM 的用户界面行为，请在 docs/source/ 中添加文档。这有助于 vLLM 用户理解和使用新功能或更改。

Adding or Changing Kernels#

每个自定义内核都需要一个模式和一个或多个实现才能在 PyTorch 中注册。

  • 确保自定义操作按照 PyTorch 指南注册：自定义 C++ 和 CUDA 运算符 和 自定义运算符手册。

  • 返回 Tensors 的自定义操作需要元函数。元函数应该在 Python 中实现和注册，以便可以自动处理动态维度。有关元函数的描述，请参阅上述文档。

  • 使用 torch.library.opcheck() 测试任何已注册操作的函数注册和元函数。有关示例，请参阅 tests/kernels。

  • 当更改现有操作的 C++ 签名时，必须更新模式以反映更改。

  • 如果需要新的自定义类型，请参阅以下文档：PT2 中的自定义类支持。

Notes for Large Changes#

请尽可能保持更改简洁。对于主要的架构更改（>500 LOC，不包括 kernel/data/config/test），我们希望看到一个 GitHub issue (RFC) 讨论技术设计和理由。否则，我们将标记为 rfc-required，并且可能不会通过 PR。

What to Expect for the Reviews#

vLLM 团队的目标是成为一个透明的审查机器。我们希望使审查过程透明高效，并确保没有贡献者感到困惑或沮丧。但是，vLLM 团队很小，因此我们需要优先处理一些 PR 而不是其他 PR。以下是您可以对审查过程的期望

  • 提交 PR 后，PR 将被分配给审查员。每个审查员将根据其专业知识和可用性选择 PR。

  • 分配 PR 后，审查员将每 2-3 天提供状态更新。如果 PR 在 7 天内未被审查，请随时 ping 审查员或 vLLM 团队。

  • 审查后，如果需要进行更改，审查员将在 PR 上添加 action-required 标签。贡献者应解决评论并 ping 审查员以重新审查 PR。

  • 请在合理的时间范围内回复所有评论。如果评论不清楚或您不同意某个建议，请随时要求澄清或讨论该建议。

  • 请注意，由于计算资源有限，并非所有 CI 检查都会执行。当 PR 准备好合并或需要完全 CI 运行时，审查员将添加 ready 标签到 PR。

Thank You#

最后，感谢您抽出时间阅读这些指南，并感谢您对贡献 vLLM 的兴趣。您的所有贡献都有助于使 vLLM 成为每个人的出色工具和社区！