协作政策¶
本页面概述了 vLLM 如何与模型提供商、硬件厂商以及其他利益相关者进行协作。
添加新的重大功能¶
任何人都可以为 vLLM 做出贡献。对于重大功能,请先提交 RFC(征求意见稿)。要提交 RFC,请创建一个 issue 并选择 RFC 模板。RFC 类似于设计文档,讨论动机、解决的问题、考虑的替代方案以及提议的更改。
提交 RFC 后,请将其发布到 vLLM Slack 的 #contributors 频道中,并抄送相关领域的负责人(area owners)和提交者(committers)以获取反馈。对于备受关注的功能,提交者会提名一人来协助 RFC 流程和 PR(拉取请求)审查。这能确保有人引导您完成整个流程。这会体现在 RFC issue 的“负责人”(assignee)字段中。如果负责人和主维护者发现该功能存在争议,维护者团队旨在了解所有人的细节后迅速做出决定。这包括指定一名提交者作为 DRI(直接责任人)来做出决策并引导代码贡献流程。
对于您打算维护的功能,请随时将自己添加到 mergify.yml 中,以便在有涉及您维护的功能的 PR 时接收通知和自动分配。随着时间的推移,所有权将通过提交者的提名和投票程序进行评估和更新。
添加新模型¶
如果您使用 vLLM,我们建议您在公开发布模型之前,按照模型注册流程让该模型与 vLLM 兼容。
vLLM 团队会针对 vLLM 尚不支持的新模型架构(尤其是推动架构前沿的模型)提供帮助。以下是 vLLM 团队与模型提供商合作的方式。vLLM 团队包括该项目的所有提交者。模型提供商可以排除某些成员,但不建议这样做,因为缺乏专业知识可能会影响发布进度。如果您想开展合作,请联系项目负责人。
一旦我们建立了 vLLM 团队与模型提供商之间的联系
- vLLM 团队会了解模型架构及相关更改,然后规划需要让哪些领域负责人参与以及需要包含哪些功能。
- vLLM 团队将创建一个私有沟通渠道(目前是 vLLM 工作区中的 Slack 频道)以及 vllm-project 组织内的私有分支(fork)。模型提供商团队可以邀请其他人加入该频道和仓库。
- 算力提供商、托管推理服务商、硬件厂商以及其他组织等第三方,通常会与模型提供商和 vLLM 共同推进模型发布。我们会根据需要建立直接沟通(需获得许可)或三方沟通。
vLLM 团队与模型提供商在功能、集成和发布时间线上进行合作。我们会努力满足发布时间线的要求,但功能开发、模型精度对齐以及优化等工程挑战可能会导致延迟。
vLLM 维护者不会公开分享有关模型架构、发布时间线或即将发布的版本的细节。我们通过安全措施在安全服务器上保存模型权重(尽管我们可以在没有证书的情况下配合进行安全审查和测试)。我们会在收到请求后删除预发布权重或产物。
vLLM 团队会在模型发布营销和推广活动上展开合作。模型提供商可以在出版物和材料中使用 vLLM 的商标和徽标。
添加新硬件¶
vLLM 被设计为一个面向前沿模型架构和高性能加速器的平台。对于新硬件,请遵循硬件插件系统来添加支持。使用平台插件系统添加硬件支持。随着硬件普及度的提高,我们会在我们的文档和宣传材料中帮助对其进行背书。vLLM GitHub 组织可以托管硬件插件仓库,特别是针对公司之间的协同合作。
我们极少直接向 vLLM 添加新硬件。相反,我们通过将现有的硬件平台模块化,以保持 vLLM 核心与硬件无关(hardware-agnostic)。