跳到内容

合作政策

本文档概述了 vLLM 如何与模型提供商、硬件供应商和其他利益相关者进行合作。

添加新主要功能

任何人都可以为 vLLM 做出贡献。对于主要功能,请先提交 RFC(征求意见稿)。要提交 RFC,请创建一个 issue 并选择 RFC 模板。RFC 类似于设计文档,讨论动机、解决的问题、考虑的替代方案以及提议的更改。

提交 RFC 后,请在 vLLM Slack 的 #contributors 频道发布,并通知相关领域负责人和提交者以获取反馈。对于备受关注的功能,提交者会提名一个人来协助 RFC 流程和 PR 审查。这确保有人指导您完成整个流程。这会反映在 RFC issue 的“assignee”字段中。如果指定的负责人和主要维护者发现该功能存在争议,维护者团队会在了解所有人的详细信息后迅速做出决定。这包括指定一名提交者作为 DRI(直接责任人)来做出决定并指导代码贡献过程。

对于您打算维护的功能,请随时将自己添加到 mergify.yml 中,以便在涉及您正在维护的功能的 PR 出现时接收通知和自动分配。随着时间的推移,所有权将通过提交者提名和投票过程进行评估和更新。

添加新模型

如果您使用 vLLM,我们建议您在公开发布模型之前,按照 模型注册流程使其与 vLLM 兼容。

vLLM 团队协助处理 vLLM 不支持的新模型架构,特别是那些具有前沿架构的模型。以下是 vLLM 团队与模型提供商合作的方式。vLLM 团队包括项目的所有 提交者。模型提供商可以排除某些成员,但不应该这样做,因为这可能会因缺乏专业知识而影响发布时间表。如果您想合作,请联系 项目负责人

一旦我们建立 vLLM 团队与模型提供商之间的联系

  • vLLM 团队了解模型架构和相关更改,然后计划涉及哪些领域负责人以及包含哪些功能。
  • vLLM 团队创建一个私有通信渠道(目前是 vLLM 工作空间中的 Slack 频道)和一个 vllm-project 组织内的私有 fork。模型提供商团队可以邀请其他人加入该频道和仓库。
  • 第三方,如计算提供商、托管推理提供商、硬件供应商和其他组织,通常会与模型提供商和 vLLM 合作进行模型发布。我们根据需要建立直接通信(经许可)或三方通信。

vLLM 团队与模型提供商合作进行功能开发、集成和发布时间表。我们努力按时发布,但工程挑战,如功能开发、模型准确性对齐和优化,可能会导致延迟。

vLLM 维护者不会公开分享有关模型架构、发布时间表或即将发布的信息。我们在安全的服务器上维护模型权重,并采取安全措施(尽管我们可以进行安全审查和测试,而无需认证)。我们根据要求删除预发布权重或工件。

vLLM 团队在模型发布的营销和推广活动方面进行合作。模型提供商可以在出版物和材料中使用 vLLM 的商标和徽标。

添加新硬件

vLLM 被设计为一个支持前沿模型架构和高性能加速器的平台。对于新硬件,请遵循 硬件插件 系统来添加支持。使用平台插件系统添加硬件支持。随着硬件的普及,我们会在文档和营销材料中对其进行推广。vLLM GitHub 组织可以托管硬件插件仓库,特别是对于公司之间的合作。

我们很少直接将新硬件添加到 vLLM。相反,我们对现有硬件平台进行模块化处理,以保持 vLLM 核心与硬件无关。