使用函数式概念来处理分布在集群上的大数据在工业界非常流行，可以说这是函数式思想在工业界的首次广泛应用。MapReduce 和 Hadoop，以及最近用 Scala 编写的快速、内存分布式集合框架 Apache Spark 的流行就证明了这一点。在本课程中，我们将了解如何使用 Spark 将数据并行范式扩展到分布式情况。我们将详细介绍 Spark 的编程模型，仔细了解它与我们熟悉的编程模型（如共享内存并行集合或顺序 Scala 集合）的不同之处和不同时间。通过 Spark 和 Scala 中的实践示例，我们将了解何时应考虑延迟和网络通信等与分布相关的重要问题，以及如何有效解决这些问题以提高性能。 学习成果。本课程结束时，您将能够：- 从持久化存储中读取数据并将其加载到 Apache Spark 中，- 使用 Spark 和 Scala 操作数据，- 以函数式风格表达数据分析算法，- 认识如何在 Spark 中避免洗牌和重新计算：您应该至少有一年的编程经验。熟练掌握 Java 或 C# 是理想的选择，但熟练掌握其他语言（如 C/C++、Python、Javascript 或 Ruby）也足够了。您应该熟悉使用命令行。本课程适合在《并行编程：https://hua.dididi.sbs/learn/parprog1》之后学习。请注意，本版本课程使用的是 Scala 2.13。您可以在这里找到使用 Scala 3 的最新版本课程：https://hua.dididi.sbs/learn/scala-spark-big-data。