“StackLLaMA”: 用 RLHF 训练 LLaMA 的手把手教程
如 ChatGPT，GPT-4，Claude这样的语言模型之所以强大，是因为它们采用了 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF) 来使之更符合我们的使用场景。 本博客旨在展示用 RLHF 训练一个 LLaMA 模型，以回答 Stack Exchange 上的问题。具体而言，包含以下几个方面: 有监督的微调 (Supervised Fine-tuning，SFT)。 奖励 / 偏好建模 (Reward / preference modeling，RM)。 基于人类反馈的强化学习 (RLHF)。 摘自 InstructGPT 论文，Ouyang, Long, et al. “Training language models to follow instructions with human feedback.” arXiv preprint arXiv:2203.02155 (2022). 结合了上述方法，我们发布了 StackLLaMA 模型，该模型在 🤗 Hub 上开源 (访问链接查看 Meta 的原...
