近年来，包括网页、新闻文章、科学文献、电子邮件、企业文档以及博客文章、论坛帖子、产品评论和推文等社交媒体在内的自然语言文本数据急剧增长。文本数据的独特之处在于，它们通常由人类直接生成，而不是由计算机系统或传感器生成，因此，除了我们在文本中编码的许多其他类型的知识之外，它们对于发现有关人们的观点和偏好的知识尤其有价值。

本课程将介绍搜索引擎技术，该技术在任何涉及文本数据的数据挖掘应用中都发挥着重要作用，原因有二。首先，虽然对于任何特定问题来说，原始数据可能很大，但相关数据往往是数据中相对较小的子集，而搜索引擎是在大量文本集合中快速发现相关文本数据小子集的重要工具。其次，需要搜索引擎来帮助分析人员解释在数据中发现的任何模式，让他们能够检查相关的原始文本数据，以理解任何发现的模式。您将学习文本检索的基本概念、原理和主要技术，这是搜索引擎的基础科学。

本课程将涵盖挖掘和分析文本数据的主要技术，以发现有趣的模式、提取有用的知识并支持决策制定，重点是统计方法，这些方法一般可应用于任何自然语言的任意文本数据，无需或只需极少的人力。

对文本数据进行详细分析需要理解自然语言文本，众所周知，这对计算机来说是一项艰巨的任务。然而，许多统计方法已经证明可以很好地对文本数据进行 "浅层 "但稳健的分析，以发现模式和知识。您将学习文本挖掘的基本概念、原理和主要算法及其潜在应用。

学习数据挖掘的一般概念以及基本方法和应用。然后深入研究数据挖掘的一个子领域：模式发现。深入学习数据挖掘中模式发现的概念、方法和应用。我们还将介绍数据驱动的短语挖掘方法以及模式发现的一些有趣应用。本课程让您有机会学习在海量事务数据上实践和参与可扩展模式发现方法的技能和内容，讨论模式评估措施，研究挖掘各种模式、序列模式和子图模式的方法。

了解聚类分析的基本概念，然后学习一系列典型的聚类方法、算法和应用。其中包括 k-means 等划分方法、BIRCH 等分层方法和 DBSCAN/OPTICS 等基于密度的方法。此外，还将学习聚类验证和聚类质量评估的方法。最后，查看聚类分析的应用实例。

注意：在开始本课程之前，您应该完成本专业的所有其他课程。 本数据挖掘专业的项目课程为期六周，您可以应用本专业前几门课程（包括模式发现、聚类、文本检索、文本挖掘和可视化）中所学到的数据挖掘算法和技术来解决现实世界中有趣的数据挖掘挑战。具体来说，您将处理来自 Yelp 的餐厅评论数据集，并利用从前面课程中学到的所有知识和技能来挖掘该数据集，从而发现有趣而有用的知识。项目设计强调1）模拟真实工作环境中数据挖掘人员的工作流程；2）整合多门课程中涉及的不同挖掘技术；3）尝试不同的解决问题的方法，加深对技术的理解；4）允许您创造性地提出和探索自己的想法。

该项目的目标是分析和挖掘大型 Yelp 评论数据集，以发现有用的知识，帮助人们做出餐饮决策。该项目将包括以下成果： 1.意见可视化：探索评论内容并将其可视化，以了解人们在这些评论中说了些什么。2. 菜系地图构建：挖掘数据集，了解不同类型菜系的景观及其相似性。3. 发现菜系的流行菜式：挖掘数据集，发现特定菜系的常见/流行菜式。推荐餐厅，帮助人们决定去哪里就餐：挖掘数据集，为特定菜肴的餐厅排名，并预测餐厅的卫生状况。 从用户的角度来看，菜肴地图可以帮助他们了解有哪些菜肴，并看到各种菜肴及其关系的全貌。一旦他们决定尝试哪种菜系，他们就会有兴趣了解该菜系的流行菜式，并决定吃什么菜。最后，他们需要选择一家餐馆。因此，根据特定菜肴推荐餐厅将非常有用。此外，预测餐厅的卫生状况也很有帮助。 通过完成这些任务，您将获得数据挖掘典型工作流程的经验，包括数据预处理、数据探索、数据分析、分析方法改进和结果展示。您将有机会将不同课程中的多种算法结合起来，完成一项相对复杂的挖掘任务，并尝试用不同的方法解决问题，以了解解决问题的最佳方法。我们会建议具体的方法，但也非常鼓励你们探索自己的想法，因为开放式探索是该项目的设计目标。 您需要就每项任务提交一份简要报告，供同行评分。最后还需要提交一份综合报告，该报告将由同行评分。