Transformer 强化学习

Transformer 强化学习 (TRL) 是一个全栈库，提供一套工具，用于使用监督微调 (SFT)、组相对策略优化 (GRPO)、直接偏好优化 (DPO)、奖励建模等方法来训练 Transformer 语言模型。该库与 🤗 transformers 集成。

GRPO 或在线 DPO 等在线方法需要模型生成补全。vLLM 可用于生成这些补全！

有关更多信息，请参阅 TRL 文档中的指南 vLLM 用于在线方法中的快速生成。

信息

有关可以提供给这些在线方法配置的 use_vllm 标志的更多信息，请参阅：- trl.GRPOConfig.use_vllm - trl.OnlineDPOConfig.use_vllm