合作政策¶
本文档概述了 vLLM 如何与模型提供商、硬件供应商和其他利益相关者进行合作。
添加新主要功能¶
任何人都可以为 vLLM 做出贡献。对于主要功能,请先提交 RFC(征求意见稿)。要提交 RFC,请创建一个 issue 并选择 RFC 模板。RFC 类似于设计文档,讨论动机、解决的问题、考虑的替代方案以及提议的更改。
提交 RFC 后,请在 vLLM Slack 的 #contributors 频道发布,并通知相关领域负责人和提交者以获取反馈。对于备受关注的功能,提交者会提名一个人来协助 RFC 流程和 PR 审查。这确保有人指导您完成整个流程。这会反映在 RFC issue 的“assignee”字段中。如果指定的负责人和主要维护者发现该功能存在争议,维护者团队会在了解所有人的详细信息后迅速做出决定。这包括指定一名提交者作为 DRI(直接责任人)来做出决定并指导代码贡献过程。
对于您打算维护的功能,请随时将自己添加到 mergify.yml 中,以便在涉及您正在维护的功能的 PR 出现时接收通知和自动分配。随着时间的推移,所有权将通过提交者提名和投票过程进行评估和更新。
添加新模型¶
如果您使用 vLLM,我们建议您在公开发布模型之前,按照 模型注册流程使其与 vLLM 兼容。
vLLM 团队协助处理 vLLM 不支持的新模型架构,特别是那些具有前沿架构的模型。以下是 vLLM 团队与模型提供商合作的方式。vLLM 团队包括项目的所有 提交者。模型提供商可以排除某些成员,但不应该这样做,因为这可能会因缺乏专业知识而影响发布时间表。如果您想合作,请联系 项目负责人。
一旦我们建立 vLLM 团队与模型提供商之间的联系
- vLLM 团队了解模型架构和相关更改,然后计划涉及哪些领域负责人以及包含哪些功能。
- vLLM 团队创建一个私有通信渠道(目前是 vLLM 工作空间中的 Slack 频道)和一个 vllm-project 组织内的私有 fork。模型提供商团队可以邀请其他人加入该频道和仓库。
- 第三方,如计算提供商、托管推理提供商、硬件供应商和其他组织,通常会与模型提供商和 vLLM 合作进行模型发布。我们根据需要建立直接通信(经许可)或三方通信。
vLLM 团队与模型提供商合作进行功能开发、集成和发布时间表。我们努力按时发布,但工程挑战,如功能开发、模型准确性对齐和优化,可能会导致延迟。
vLLM 维护者不会公开分享有关模型架构、发布时间表或即将发布的信息。我们在安全的服务器上维护模型权重,并采取安全措施(尽管我们可以进行安全审查和测试,而无需认证)。我们根据要求删除预发布权重或工件。
vLLM 团队在模型发布的营销和推广活动方面进行合作。模型提供商可以在出版物和材料中使用 vLLM 的商标和徽标。
添加新硬件¶
vLLM 被设计为一个支持前沿模型架构和高性能加速器的平台。对于新硬件,请遵循 硬件插件 系统来添加支持。使用平台插件系统添加硬件支持。随着硬件的普及,我们会在文档和营销材料中对其进行推广。vLLM GitHub 组织可以托管硬件插件仓库,特别是对于公司之间的合作。
我们很少直接将新硬件添加到 vLLM。相反,我们对现有硬件平台进行模块化处理,以保持 vLLM 核心与硬件无关。