在本课程中，您将学习到几种算法，它们可以在与环境的试错互动基础上学习接近最优的策略--从代理自身的经验中学习。从实际经验中学习之所以引人注目，是因为它不需要事先了解环境的动态，但仍能达到最佳行为。我们将介绍直观简单但功能强大的蒙特卡洛方法和时差学习方法（包括 Q 学习）。在课程的最后，我们将研究如何获得两全其美的方法：结合基于模型的规划（类似于动态编程）和时差更新的算法，以从根本上加快学习速度。 课程结束后，您将能够： - 理解时差学习和蒙特卡洛这两种从采样经验中估计价值函数的策略 - 理解在模型中使用采样经验而不是动态编程扫描时探索的重要性 - 理解蒙特卡洛与动态编程和 TD 之间的联系。

- 实施和应用 TD 算法，以估计价值函数 - 实施和应用 Expected Sarsa 和 Q-learning（两种 TD 控制方法） - 理解政策控制和非政策控制之间的区别 - 理解利用模拟经验进行规划（与传统规划策略不同） - 实施一种基于模型的 RL 方法，称为 Dyna，它使用模拟经验 - 开展一项实证研究，以了解使用 Dyna 时样本效率的提高情况

在本课程中，您将学习如何解决大型、高维和潜在无限状态空间的问题。您将看到，估算价值函数可以被视为一个监督学习问题--函数逼近--允许您构建能够仔细平衡泛化和辨别的代理，以获得最大回报。我们将从研究如何将蒙特卡罗和 TD 等策略评估或预测方法扩展到函数近似设置开始这一旅程。您将学习 RL 的特征构建技术，以及通过神经网络和反推进行表征学习。最后，我们将深入探讨策略梯度方法，这是一种无需学习值函数就能直接学习策略的方法。在本课程中，您将解决两个连续状态控制任务，并研究策略梯度方法在连续动作环境中的优势。

先决条件本课程以课程 1 和课程 2 的基础知识为基础，学习者在开始本课程之前应该已经学完这两门课程。 学员还应该熟练掌握概率与期望、基础线性代数、基础微积分、Python 3.0（至少 1 年）以及通过伪代码实现算法。 通过本课程的学习，您将能够 -了解如何使用监督学习方法来近似值函数 - 理解函数近似下的预测（值估计）目标 - 使用函数近似（状态聚合）实现 TD、在具有无限状态空间（连续状态空间）的环境中实施具有函数逼近（状态聚合）功能的 TD - 理解特征构建的固定基础和神经网络方法 - 在连续状态环境中实施具有神经网络函数逼近功能的 TD - 理解在转向函数逼近时探索中遇到的新困难 - 在具有无限状态空间（连续状态空间）的环境中实施 TD - 理解特征构建的固定基础和神经网络方法 - 在连续状态环境中实施具有神经网络函数逼近功能的 TD在连续状态控制任务中实施预期 Sarsa 和 Q-learning 与函数逼近 - 理解直接估计策略的目标（策略梯度目标） - 在离散状态环境中实施策略梯度方法（称为 Actor-Critic

在这最后一门课程中，您将综合运用课程 1、2 和 3 中的知识，针对一个问题实施完整的 RL 解决方案。在这个毕业设计中，您将了解问题的提出、算法的选择、参数的选择和表示法的设计等各个环节是如何组合成一个完整的解决方案的，以及在现实世界中部署 RL 时如何做出适当的选择。本项目将要求您同时实现激发问题的环境和具有神经网络函数逼近功能的控制代理。此外，您还将对学习系统进行科学研究，以培养评估 RL 代理稳健性的能力。要在现实世界中使用 RL，关键在于：(a) 将问题适当地形式化为 MDP；(b) 选择适当的算法；(c) 确定实施过程中哪些选择会对性能产生重大影响；(d) 验证算法的预期行为。对于打算使用 RL 解决实际问题的人来说，这门顶点课程非常有价值。 要成功完成这门课程，您需要完成本专业的课程 1、2 和 3 或同等课程。 在本课程结束时，您将能够

完成一个问题的 RL 解决方案，从问题的制定、适当算法的选择和实施开始，并对解决方案的有效性进行实证研究。