刚刚，Google OpenRL 是一个用于大型语言模型（LLM）后训练微调的实验性自托管 API

谷歌 GKE Labs 推出 了 开源项目 OpenRL，为在标准 Kubernetes 集群上对大型语言模型（LLM）进行后训练和微调提供一个自托管 API。

谷歌表示，OpenRL 将强化学习（RL）基础设施从 AI 研究中抽象出来，使机器学习团队能够直接在自己的集群上扩展后训练工作流。

据谷歌工程师称，在大型语言模型（LLM）上进行基于代理的强化学习时，“极易因系统复杂性高而陷入困境”。

即使是一个简单的强化学习循环，也需要同时处理许多环节：数据准备与清洗、环境选择、训练循环调试、奖励设计、处理推理不一致问题、硬件配置以及底层基础设施管理。

这些都是棘手的问题。

但真正让情况变得更加复杂的是，在当今的工具和框架中，AI 研究与基础设施问题紧密地交织在一起。

谷歌工程师认为，通过将基础设施与 AI 研究分离，这些挑战将变得更易于应对，使专业团队能够专注于各自的领域，这与 Kubernetes 通过实现基础设施抽象化，从而为应用程序开发人员和可靠性工程师简化工作流的方式如出一辙。

OpenRL 提高训练后微调效率的方式之一，是在你的基础设施上运行多个强化学习任务，借此提高整体的 GPU 利用率。

据谷歌研究人员称，传统的强化学习循环是严格按顺序执行的，这往往导致 GPU 在等待 CPU 或网络受限任务（尤其是奖励计算）完成时处于空闲状态。

🔗 原始来源

如果你要核对细节，可以再看原文： InfoQ AI原文链接