从人类反馈中强化学习

从人类反馈中强化学习 (RLHF) 是一种利用人类生成的偏好数据来微调语言模型的技术，以使模型输出与期望的行为保持一致。vLLM 可用于为 RLHF 生成补全。

以下开源 RL 库使用 vLLM 进行快速 rollout（按字母顺序排列，不详尽）

• Cosmos-RL
• ms-swift
• NeMo-RL
• Open Instruct
• OpenRLHF
• PipelineRL
• Prime-RL
• SkyRL
• TRL
• Unsloth
• verl

如果您不想使用现有库，请参阅以下基本示例以开始

• 训练和推理过程位于单独的 GPU 上（受 OpenRLHF 启发）
• 使用 Ray 将训练和推理过程放置在同一 GPU 上
• 使用 vLLM 进行 RLHF 的实用程序

参阅以下 Notebook，了解如何将 vLLM 用于 GRPO

• TRL 中使用 GRPO 和 vLLM 进行高效在线训练
• Qwen-3 4B GRPO 使用 Unsloth + vLLM