跳到内容

协作政策

本页面概述了 vLLM 如何与模型提供商、硬件供应商和其他利益相关者协作。

添加新的主要功能

任何人都可以为 vLLM 做贡献。对于主要功能,请先提交 RFC(征求意见稿)。要提交 RFC,请创建一个 issue 并选择 RFC 模板。RFC 类似于设计文档,讨论其动机、要解决的问题、考虑的替代方案以及提议的更改。

提交 RFC 后,请在 vLLM Slack 的 #contributors 频道发布,并联系相关领域的负责人和提交者以获取反馈。对于备受关注的功能,提交者会提名一个人来协助 RFC 流程和 PR 审核。这样可以确保有人指导你完成整个流程。这将在 RFC issue 中以“assignee”(负责人)字段体现。如果负责人和主要维护者认为该功能存在争议,维护者团队会在了解所有人的详细信息后,尽快做出决定。这包括指定一名提交者作为 DRI(直接负责个人),负责做出决定并推动代码贡献过程。

对于你打算维护的功能,请随时将自己添加到 mergify.yml 中,以便在你维护的功能的 PR 提交时收到通知和自动分配。随着时间的推移,所有权将通过提交者的提名和投票过程进行评估和更新。

添加新模型

如果你使用 vLLM,我们建议你在公开发布模型之前,按照 模型注册流程使其与 vLLM 兼容。

vLLM 团队会协助支持 vLLM 中未涵盖的新模型架构,特别是那些推动架构前沿的模型。以下是 vLLM 团队与模型提供商的合作方式。vLLM 团队包括项目的所有 提交者。模型提供商可以排除某些成员,但不应这样做,因为这可能会由于缺乏专业知识而影响发布时间表。如果你想合作,请联系 项目负责人

一旦建立 vLLM 团队和模型提供商之间的联系

  • vLLM 团队了解模型架构和相关更改,然后规划要涉及的领域负责人以及要包含的功能。
  • vLLM 团队会创建一个私有通信频道(目前是 vLLM 工作区中的 Slack 频道)和一个 vllm-project 组织内的私有 fork。模型提供商团队可以邀请其他人加入频道和仓库。
  • 第三方,如计算提供商、托管推理提供商、硬件供应商和其他组织,通常会与模型提供商和 vLLM 一起进行模型发布。如有需要,我们会建立直接沟通(需获得许可)或三方沟通。

vLLM 团队与模型提供商在功能、集成和发布时间表上进行合作。我们努力满足发布时间表,但工程挑战,如功能开发、模型准确性对齐和优化,可能会导致延迟。

vLLM 维护者不会公开分享有关模型架构、发布时间表或即将发布的版本。我们会在安全的服务器上维护模型权重,并采取安全措施(尽管我们可以进行安全审查和测试,但无需认证)。我们会根据要求删除预发布权重或构件。

vLLM 团队会合作进行模型发布的营销和推广活动。模型提供商可以在出版物和材料中使用 vLLM 的商标和徽标。

添加新硬件

vLLM 被设计为一个支持前沿模型架构和高性能加速器的平台。对于新硬件,请遵循 硬件插件 系统来添加支持。使用平台插件系统来添加硬件支持。随着硬件越来越受欢迎,我们会在文档和营销材料中协助推广。vLLM GitHub 组织可以托管硬件插件仓库,特别是用于公司之间的协作。

我们很少直接将新硬件添加到 vLLM。相反,我们使现有硬件平台模块化,以保持 vLLM 核心的硬件无关性。