本周你将学习如何仅利用从环境中获取的经验样本来估计价值函数和最优策略。本模块是我们向增量学习方法迈出的第一步，这种方法是从代理自身与世界的交互中学习，而不是从世界模型中学习。您将学习使用蒙特卡洛方法（即使用抽样回报的方法）进行预测和控制的政策内和政策外方法。您还将重新认识探索问题，但更多的是在 RL 中，而不是在匪帮中。

本周，您将学习强化学习中最基本的概念之一：时差（TD）学习。时差学习结合了蒙特卡洛和动态编程（DP）方法的一些特点。TD 方法与蒙特卡洛方法类似，可以从代理与世界的交互中学习，而不需要模型知识。TD 方法与 DP 方法的相似之处在于它们可以引导，因此可以在线学习--无需等到一集结束。您将看到 TD 如何通过引导比蒙特卡罗学习更有效。在本模块中，我们首先关注用于预测的 TD，然后在下一模块中讨论用于控制的 TD。本周，您将在一个模拟域中实施 TD，以估计固定策略的值函数。

本周，您将学习使用时差学习进行控制，作为一种通用的策略迭代策略。您将看到基于引导和贝尔曼方程的三种不同的控制算法：Sarsa、Q-learning 和 Expected Sarsa。您将看到政策内和政策外控制方法之间的一些差异，以及 Expected Sarsa 是这两种方法的统一算法。您将在 Cliff World 上实现 Expected Sarsa 和 Q-learning。

到目前为止，您可能认为有模型学习和无模型学习是两种截然不同的策略，而且在某些方面是相互竞争的：使用动态编程法进行规划与通过 TD 方法进行基于样本的学习。本周，我们将利用 Dyna 架构统一这两种策略。您将学习如何从数据中估计模型，然后使用该模型生成假设经验（有点像做梦），从而与 Q-learning 等基于样本的方法相比，显著提高样本效率。此外，您还将了解到如何设计能够应对不准确模型的学习系统。