在本课程中，您将学习如何解决大型、高维和潜在无限状态空间的问题。您将看到，估算价值函数可以被视为一个监督学习问题--函数逼近--允许您构建能够仔细平衡泛化和辨别的代理，以获得最大回报。我们将从研究如何将蒙特卡罗和 TD 等策略评估或预测方法扩展到函数近似设置开始这一旅程。您将学习 RL 的特征构建技术，以及通过神经网络和反推进行表征学习。最后，我们将深入探讨策略梯度方法，这是一种无需学习值函数就能直接学习策略的方法。在本课程中，您将解决两个连续状态控制任务，并研究策略梯度方法在连续动作环境中的优势。

先决条件本课程以课程 1 和课程 2 的基础知识为基础，学习者在开始本课程之前应该已经学完这两门课程。 学员还应该熟练掌握概率与期望、基础线性代数、基础微积分、Python 3.0（至少 1 年）以及通过伪代码实现算法。 通过本课程的学习，您将能够 -了解如何使用监督学习方法来近似值函数 - 理解函数近似下的预测（值估计）目标 - 使用函数近似（状态聚合）实现 TD、在具有无限状态空间（连续状态空间）的环境中实施具有函数逼近（状态聚合）功能的 TD - 理解特征构建的固定基础和神经网络方法 - 在连续状态环境中实施具有神经网络函数逼近功能的 TD - 理解在转向函数逼近时探索中遇到的新困难 - 在具有无限状态空间（连续状态空间）的环境中实施 TD - 理解特征构建的固定基础和神经网络方法 - 在连续状态环境中实施具有神经网络函数逼近功能的 TD在连续状态控制任务中实施预期 Sarsa 和 Q-learning 与函数逼近 - 理解直接估计策略的目标（策略梯度目标） - 在离散状态环境中实施策略梯度方法（称为 Actor-Critic