欢迎来到第 2 周！本周，我们将学习多臂强盗问题，这是一种优化问题，算法在探索和利用之间取得平衡，以获得最大回报。主题包括行动值和样本平均估算、𝜀-贪婪行动选择和置信上限。如果您在测验和作业方面需要帮助，可以在讨论区发帖。

欢迎来到第 3 周！本周，我们将重点学习马尔可夫决策过程的基础知识，包括奖励、效用、贴现、策略、价值函数和贝尔曼方程。您将对顺序决策问题进行建模，了解奖励和贴现因素对结果的影响，定义策略和价值函数，并写出最优解的贝尔曼方程。如果您在测验和作业方面需要帮助，可以在讨论区发帖。

欢迎来到第 4 周！本周，我们将介绍求解马尔可夫决策过程（MDP）的动态编程算法。主题包括值迭代和策略迭代、非线性贝尔曼方程、复杂性和收敛性，以及两种方法的比较。如果您在测验和作业方面需要帮助，可以在讨论区发帖。

欢迎来到第 5 周！本周，我们将学习部分可观测性和 POMDPs、信念状态、信念 MDPs 表示以及 MDPs 和 POMDPs 中的在线规划等主题。您还将运用所学知识更新信念状态，并使用信念转换函数计算状态值。如果您在测验和作业方面需要帮助，可以在讨论区发帖。

欢迎来到第 6 周！本周，我们将介绍蒙特卡罗方法，内容包括使用样本平均法和蒙特卡罗预测进行状态值估计、状态-作用值和ε-贪婪策略，以及用于非策略与策略蒙特卡罗控制的重要性采样。您将学会估算状态值、状态-行动值、使用重要性采样，以及为优化策略学习实施非策略蒙特卡洛控制。如果您在测验和作业方面需要帮助，可以在讨论区发帖。

欢迎来到第 7 周！本周，我们将讨论与用于预测的时差学习、TD 批量方法、用于策略控制的 SARSA 和用于非策略控制的 Q-learning 相关的主题。您将学习如何实现时差预测、时差批处理和离线方法、SARSA 和 Q-learning，并比较政策内和政策外时差学习。如果您在测验和作业方面需要帮助，可以在讨论区发帖。

欢迎来到第 8 周！本模块包括 n 步时差预测、n 步 SARSA（策略上和策略下）、使用 Dyna-Q 的基于模型的 RL 以及函数逼近。您将准备好实施 n 步时差学习、n 步 SARSA、基于模型学习的 Dyna-Q，并使用函数逼近进行强化学习。您将在冰冻湖编程环境中应用所学知识。如果您在测验和作业方面需要帮助，可以在讨论区发帖。