在本模块中，您将探索使用人类反馈强化学习 (RLHF)、近似策略优化 (PPO) 和直接偏好优化 (DPO) 来微调 Large Language Model (LLM) 的高级技术。首先，您将介绍 LLM 如何作为概率分布发挥作用，以及如何将其 Transformer 为策略，从而根据输入文本生成响应。您将研究策略和语言模型之间作为参数（如欧米茄）函数的关系，以及如何利用人类反馈计算奖励。这包括训练回复 Sample、评估代理性能，以及使用 PPO 为 Sentiment Analysis 等任务定义评分函数。您还能解释 PPO 配置、Learning Rate 以及 PPO 培训师在使用抱抱脸工具优化 Chatbot 响应中的作用。Modulation 进一步介绍了 DPO，这是一种更直接、更高效的使模型与人类偏好相一致的方法。虽然介绍了 PPO 和强化学习等复杂的主题，但并不要求您在本课程中深入理解。通过本 Modulation 中的动手实验，您可以练习应用 RLHF 和 DPO。为支持您的学习，本模块还提供了小抄和术语表，供您快速参考。