verl —— HybridFlow 论文的开源实现
verl 是一个灵活、高效且可用于生产的 RL 训练库，适用于大型语言模型 (LLM)。 verl 是HybridFlow：一种灵活高效的 RLHF 框架论文的开源实现。 verl 灵活且易于使用： 轻松扩展各种 RL 算法：混合编程模型结合了单控制器和多控制器范式的优势，能够灵活地表示和高效执行复杂的训练后数据流。允许用户用几行代码构建 RL 数据流。 现有 LLM 基础架构与模块化 API 无缝集成：解耦计算和数据依赖关系，实现与现有 LLM 框架（如 PyTorch FSDP、Megatron-LM 和 vLLM）无缝集成。此外，用户可以轻松扩展到其他 LLM 训练和推理框架。 灵活的设备映射：支持将模型放置到不同的 GPU 组上，以实现高效的资源利用率和跨不同集群规模的可扩展性。 轻松与流行的 HuggingFace 模型集成 verl 速度很快： 最先进的吞吐量：通过无缝集成现有的 SOTA LLM 训练和推理框架，verl 实现了高生成和训练吞吐量。 使用 3D-HybridEngine 进行高效的演员模型重新分片：消除内存冗余并显著减少训练和生成阶段之间转换期间的通信开销...
