用户故事

阅读用户和开发者如何使用 vLLM Ascend 解决实际日常问题的案例研究

• LLaMA-Factory 是一个易于使用且高效的训练和微调大型语言模型的平台。自 LLaMA-Factory#7739 起，它支持 vLLM Ascend 以加速推理，推理性能提升 2 倍。

• Huggingface/trl 是一个尖端的库，用于使用 SFT、PPO 和 DPO 等高级技术对基础模型进行训练后处理。自 v0.17.0 起，它使用 vLLM Ascend 来支持 Ascend NPU 上的 RLHF。

• MindIE Turbo 是华为在 Ascend 硬件上开发的 LLM 推理引擎加速插件库，其中包含自研的 LLM 优化算法以及与推理引擎框架相关的优化。自 2.0rc1 起，它支持 vLLM Ascend。

• GPUStack 是一个用于运行 AI 模型的开源 GPU 集群管理器。自 v0.6.2 起，它支持 vLLM Ascend。有关 GPUStack 的更多性能评估信息，请访问 此链接。

• verl 是一个灵活、高效且生产就绪的 LLM RL 训练库。自 v0.4.0 起，它使用 vLLM Ascend。有关更多信息，请参阅 verl x Ascend 快速入门。

更多详情

• LLaMA-Factory