使用 Spark 和 Hadoop 的大数据简介

在本模块中，您将获得对 Apache Hadoop 架构、生态系统、实践和常用应用程序（包括分布式文件系统 (HDFS)、MapReduce、Hive 和 HBase）的基本了解。在使用 Hive 查询添加的数据、使用 Docker 启动单节点 Hadoop 集群和运行 MapReduce 作业时，您还将在动手实验室中获得实用技能。

在本模块中，您将关注流行的 Apache Spark 平台，探索 Apache Spark 和分布式计算的属性和优势。您将获得关于函数式编程和 Lambda 函数的重要见解。您还将探索 Apache Spark 中的弹性分布式数据集（RDDs）、并行编程、弹性，并将 RDDs 与 Apache Spark 的并行编程联系起来。然后，您将深入学习 Apache Spark 的其他组件，了解 Apache Spark 如何扩展大数据。使用大数据意味着需要使用查询，包括使用 SQL 进行结构化查询。您还将了解 Spark SQL 和 DataFrame 查询的功能、部分和优势，并发现 DataFrame 如何与 Spark SQL 配合使用。

在本模块中，您将了解弹性分布式数据集（RDD）、其在 Apache Spark 中的用途以及 RDD 转换和操作。您将比较数据集与 Spark 最新数据抽象 DataFrames 的使用。您将学会识别和应用基本的 DataFrame 操作。您将探索 Apache Spark SQL 优化，了解 Spark SQL 和内存优化如何从使用 Catalyst 和 Tungsten 中受益。最后，您将通过指导动手实验来强化技能，创建表格视图并应用数据聚合技术。

在本模块中，您将了解 Spark 如何处理应用程序提交的请求，并学习如何使用 Spark 应用程序用户界面跟踪工作。由于 Spark 应用程序的工作是在集群上进行的，因此您需要能够识别 Apache 集群管理器、其组件和优点。您还将了解如何与每个集群管理器连接，以及如何和何时需要建立本地、独立的 Spark 实例。接下来，您将学习 Apache Spark 应用程序提交，包括使用 Spark 的统一接口 "spark-submit"，并了解选项和依赖关系。您还将描述和应用提交应用程序的选项，识别外部应用程序依赖性管理技术，并列出 Spark Shell 的优势。您还将了解 Spark 静态和动态配置选项的推荐实践，并进行上机实验，在 IBM Cloud 上使用 Apache Spark 并在 Kubernetes 上运行 Spark。

平台和应用程序需要监控和调整，以管理不可避免发生的问题。在本模块中，您将学习如何连接 Apache Spark 用户界面 Web 服务器，并使用相同的用户界面 Web 服务器管理应用程序进程。 您还将识别常见的 Apache Spark 应用程序问题，学习使用应用程序用户界面调试问题和查找相关日志文件。此外，您还将通过动手实验室发现并获得有关 Spark 如何管理内存和处理器资源的实际知识。

在本模块中，您将进行一次实践实验，探索使用 Spark 进行数据处理的两个关键方面：使用弹性分布式数据集（RDD）和从 JSON 数据构建 DataFrames。您还将在 RDD 和 DataFrames 上应用各种转换和操作，以获得洞察力并有效处理数据。此外，您还将在结业项目中应用所学知识，通过从 CSV 文件加载数据并使用 Spark SQL 应用转换和操作来创建 DataFrame。最后，将根据您的课程学习情况对您进行评估。