我们的课程从最基本的回归模型开始：只需将一条线拟合到数据中。 <p> 在本模块中，我们将介绍高级回归任务，然后将这些概念专门用于简单线性回归。您将学习如何建立一个简单回归模型，并使用闭式求解和称为梯度下降的迭代优化算法将该模型与数据拟合。 根据拟合函数，您将解释估计的模型参数并形成预测。 您还将分析拟合结果对离群观测值的敏感性。<p> 您将在一个根据房屋面积预测房价的案例研究中考察所有这些概念。

超越简单线性回归的下一步是考虑 "多元回归"，即使用数据的多个特征形成预测。 <p> 更具体地说，在本模块中，您将学习如何在单一变量（如 "平方英尺"）和观测响应（如 "房屋销售价格"）之间建立关系更为复杂的模型。 这包括对数据进行多项式拟合，或捕捉响应值的季节性变化。 您还将学习如何结合多个输入变量（如 "平方英尺"、"卧室数量"、"浴室数量"）。 然后，您将能够描述如何在线性回归框架内建立所有这些模型，但现在要使用多个 "特征"。 在此多元回归框架内，您将根据数据拟合模型、解释估计系数并形成预测。<p>在这里，您还将实施梯度下降算法来拟合多元回归模型。

在学习了线性回归模型和估算此类模型参数的算法之后，您现在可以评估所考虑的方法在预测新数据时的性能如何。 您还准备好在可能的模型中选择性能最佳的模型。 <p> 本模块就是关于模型选择和评估的这些重要主题。 您将考察此类分析的理论和实践方面。首先，您将探索测量预测 "损失 "的概念，并以此定义训练、测试和泛化误差。 对于这些误差测量，您将分析它们如何随模型复杂性而变化，以及如何利用它们来形成对预测性能的有效评估。 这将直接引出关于偏差-方差权衡的重要对话，而偏差-方差权衡是机器学习的基础。 最后，您将设计一种方法，首先在模型中进行选择，然后评估所选模型的性能。<p>本模块中描述的概念是所有机器学习问题的关键，远远超出了本课程中的回归设置。

您已经研究了模型的性能如何随模型复杂度的增加而变化，并能描述复杂模型与训练数据过度拟合的潜在隐患。 在本模块中，您将探索一种非常简单但极其有效的技术，用于自动解决这一问题。 这种方法称为 "脊回归"。 一开始，您需要建立一个复杂的模型，但现在对模型进行拟合时，不仅要考虑到与训练数据的拟合程度，还要考虑到使求解偏离过拟合函数的因素。 为此，您将探索过度拟合函数的症状，并以此定义一个量化指标，用于修订优化目标。 您将推导出用于拟合脊回归目标的闭式算法和梯度下降算法；这些形式是对您为多元回归推导出的原始算法的微小修改。 为了选择偏差的强度，避免过度拟合，你将探索一种名为 "交叉验证 "的通用方法。<p>您将同时使用交叉验证和梯度下降来拟合脊回归模型，并选择正则化常数。

机器学习的一项基本任务是从一组特征中选择一个模型。 在本模块中，您将在多元回归的背景下探索这一想法，并描述这种特征选择对于形成预测的可解释性和效率的重要性。<p> 首先，您将研究在包含不同特征子集的模型枚举中进行搜索的方法。 您将分析穷举搜索和贪婪算法。 然后，我们将转向 Lasso 回归，它以类似于脊回归的方式隐式地执行特征选择，而不是显式枚举：根据与训练数据的拟合度量，再加上与脊回归不同的过拟合度量，来拟合一个复杂的模型。 这种套索方法在许多应用领域都产生了影响，该方法背后的思想从根本上改变了机器学习和统计学。您还将使用坐标下降算法来拟合 Lasso 模型。<p>坐标下降是另一种通用优化技术，在机器学习的许多领域都很有用。

到目前为止，我们主要关注的是将参数函数（如多项式和超平面）拟合到整个数据集的方法。 在本模块中，我们将注意力转向一类 "非参数 "方法。 这些方法允许模型的复杂度随着观测数据的增加而增加，并产生局部适应观测数据的拟合结果。 <p> 我们首先考虑非参数方法中简单直观的例子--近邻回归：对查询点的预测基于训练集中最相关观测值的输出。 这种方法极其简单，但却能提供出色的预测，尤其是对于大型数据集。您将部署算法来搜索最近的邻居，并根据发现的邻居进行预测。 基于这一想法，我们转向核回归。 核回归不是基于一小部分相邻观测值进行预测，而是使用数据集中的所有观测值，但这些观测值对预测值的影响会根据它们与查询点的相似度进行加权。 您将分析这些方法在无限训练数据限制下的理论性能，并探索这些方法在哪些情况下运行良好，哪些情况下运行困难。 您还将实施这些技术并观察它们的实际表现。

在课程的最后，我们将回顾所学内容。 这既包括回归的特定技术，也包括将在整个专业课程中出现的基础机器学习概念。 我们还将简要讨论本课程未涉及的一些重要回归技术。<p> 最后，我们将概述本专业后续课程的内容。