线性分类器是最实用的分类方法之一。例如，在我们的情感分析案例研究中，线性分类器将一个系数与句子中每个单词的计数相关联。在本模块中，您将熟练掌握这种表示方法。您将重点学习一种特别有用的线性分类器--逻辑回归，它除了允许您预测一个类别外，还提供与预测相关的概率。这些概率非常有用，因为它们提供了预测的可信度。在本模块中，您还将能够从分类输入中构建特征，并处理具有两个以上类别的分类问题（多类问题）。您将在实际产品情感分析任务中检验这些技术的结果。

在熟悉了线性分类器和逻辑回归后，您现在就可以深入研究并编写第一个分类学习算法。具体来说，您将使用梯度上升法从数据中学习分类器的系数。首先，您需要使用最大似然估计 (MLE) 方法为这些任务定义质量度量。您还将熟悉选择梯度上升步长的简单技术。本模块的选修高级部分将涵盖逻辑回归梯度的推导。 您将从头开始实现自己的逻辑回归学习算法，并用它来学习情感分析分类器。

正如我们在回归课程中所看到的，过拟合也许是您在实际应用机器学习方法时将面临的最大挑战。在本模块中，您将发现这一挑战对于逻辑回归尤为重要，因为我们不仅有可能获得过于复杂的决策边界，而且您的分类器还可能对其预测的概率过于自信。在本模块中，您将详细研究分类中的过拟合问题，并从分类器输出的一些有趣可视化效果中获得广泛的实用见解。然后，您将在优化中添加正则化项，以减轻过拟合。您将研究 L2 正则化和 L1 正则化，前者用于惩罚大的系数值，后者用于获得系数的额外稀疏性。最后，您将修改梯度上升算法，以学习正则化逻辑回归分类器。您将从头开始实现自己的正则化逻辑回归分类器，并研究 L2 惩罚对真实世界情感分析数据的影响。

决策树与线性分类器一样，是现实世界中应用最广泛的分类技术之一。这种方法非常直观、易于实施，并能提供可解释的预测结果。在本模块中，您将熟悉决策树的核心表示法。然后，您将设计一种简单的递归贪婪算法，从数据中学习决策树。最后，你将扩展这种方法以处理连续输入，这是实际问题的基本要求。在本模块中，你将研究金融领域的一个全新案例：预测与银行贷款相关的风险。您将在真实贷款数据上实现自己的决策树学习算法。

在所有机器学习技术中，决策树是最容易出现过度拟合的技术之一。在实际应用中，如果不采用缓解这一难题的方法，就不可能实现。在本模块中，您将通过各种可视化和调查，研究决策树为何会出现严重的过拟合问题。利用奥卡姆剃刀的原理，你将通过学习更简单的决策树来缓解过拟合问题。首先，您将设计算法，在决策树变得过于复杂之前停止学习过程。在可选的部分中，您将设计一种非常实用的方法，学习过于复杂的树，然后通过修剪将其简化。您将在实际贷款数据集上研究这些技术对减轻过度拟合的影响。

现实世界中的机器学习问题充满了缺失数据。也就是说，有些输入往往无法观测到所有数据点。这一挑战非常严峻，在大多数情况下都会发生，需要谨慎处理才能获得出色的性能。而机器学习课程中很少讨论这个问题。在本模块中，您将直面数据缺失的挑战。您将从将缺失数据集转换为干净数据集的两种最基本技术开始，即跳过缺失值和输入缺失值。在高级部分，您还将设计一种决策树学习算法的修改版，将有关缺失数据的决策直接构建到模型中。您还将在实际数据实施中探索这些技术。

机器学习中最令人兴奋的理论问题之一是，简单的分类器能否组合成一个高精度的集合。这个问题导致了提升技术的发展，它是当今机器学习领域最重要、最实用的技术之一。这种简单的方法可以提高任何分类器的准确性，并在实践中得到广泛应用，例如，在 Kaggle 机器学习竞赛中获胜的团队中有一半以上都使用了这种方法。在本模块中，你将首先定义集合分类器，即多个模型对最佳预测进行投票。然后，您将探索一种名为 AdaBoost 的增强算法，它为增强分类器提供了一种很好的方法。通过可视化，您将熟悉这种技术的许多实际方面。您将从头开始创建自己的 AdaBoost 实现，并使用它在真实数据上提升贷款风险预测器的性能。

在许多实际环境中，准确率或误差并不是分类的最佳质量指标。您将探究一个案例研究，该案例研究极大地凸显了这一问题：使用情感分析在餐厅网站上显示正面评论。您将定义两个指标：精确度和召回率，而不是准确度，这两个指标在实际应用中被广泛用于衡量分类器的质量。您将探索如何利用分类器输出的概率来权衡精确度和召回率，并利用精确度-召回率曲线深入了解这一范围。在动手实施过程中，您将在真实世界的情感分析数据上使用学习到的分类器计算这些指标。

随着互联网的出现、社交媒体的发展以及传感器在世界范围内的普及，我们的机器学习算法必须处理的数据量在过去十年中大幅增长。这种效应有时被称为 "大数据"。因此，我们的学习算法必须扩展到越来越大的数据集。在本模块中，你将开发一种对梯度上升的小修改，称为随机梯度，它能显著加快我们算法的运行时间。这个简单的修改可以大大提高扩展速度，但会降低算法的稳定性，在实际应用中也会更加困难。在本模块中，您将研究使随机梯度可行所需的实用技术，从而获得可扩展至海量数据集的学习算法。您还将讨论一种新的机器学习问题，即在线学习，在这种情况下，数据流会随着时间的推移不断涌入，我们必须在数据到达时学习系数。这项任务也可以用随机梯度法来解决。您将从头开始为逻辑回归实现自己的随机梯度上升算法，并在情感分析数据上对其进行评估。