随着现在每部智能手机和电脑都拥有多个处理器，使用函数思想来促进并行编程变得越来越普遍。在本课程中，您将学习并行编程的基础知识，从任务并行到数据并行。特别是，您将看到函数式编程中许多熟悉的思想如何完美地映射到数据并行范例中。我们将从如何有效地并行化我们熟悉的集合操作的核心和关键点开始，并将建立起并行集合（Scala 标准库中的一个可用于生产的数据并行集合库）。在整个学习过程中，我们将通过几个分析真实世界数据的实践案例来应用这些概念，例如 k-means 聚类等流行算法。 学习成果。通过本课程的学习，您将能够：- 对任务和数据并行程序进行推理；- 用函数式风格表达常见算法并并行求解；- 胜任并行代码的微基准测试；- 编写有效使用并行集合以实现性能的程序 推荐背景：您应该至少有一年的编程经验。熟练掌握 Java 或 C# 是理想的选择，但掌握其他语言（如 C/C++、Python、Javascript 或 Ruby）也足够了。您应该熟悉使用命令行。本课程应在 Scala 中的功能程序设计：https://hua.dididi.sbs/learn/progfun2 之后学习。

使用函数式概念来处理分布在集群上的大数据在工业领域非常普遍，可以说这是函数式思想在工业领域的首次广泛应用。MapReduce 和 Hadoop，以及最近用 Scala 编写的快速、内存分布式集合框架 Apache Spark 的流行就证明了这一点。在本课程中，我们将了解如何使用 Spark 将数据并行范式扩展到分布式情况。我们将详细介绍 Spark 的编程模型，仔细了解它与我们熟悉的编程模型（如共享内存并行集合或顺序 Scala 集合）的不同之处和不同时间。通过 Spark 和 Scala 中的实践示例，我们将了解何时应考虑延迟和网络通信等与分布相关的重要问题，以及如何有效解决这些问题以提高性能。 学习成果。本课程结束时，您将能够：- 从持久化存储中读取数据并将其加载到 Apache Spark 中，- 使用 Spark 和 Scala 操作数据，- 以函数式风格表达数据分析算法，- 认识如何在 Spark 中避免洗牌和重新计算：您应该至少有一年的编程经验。熟练掌握 Java 或 C# 是理想的选择，但熟练掌握其他语言（如 C/C++、Python、Javascript 或 Ruby）也足够了。您应该熟悉使用命令行。本课程适合在《并行编程：https://hua.dididi.sbs/learn/parprog1》之后学习。

在最后的毕业设计项目中，您将运用所学的技能，使用真实世界的数据构建一个大型数据密集型应用程序。 您将实现一个处理数千兆字节数据的完整应用程序。开发这样一个应用程序将涉及：- 将气象站提供的数据转化为有意义的信息，例如，过去十年全球各点的平均气温；- 然后，使用空间和线性插值技术将这些信息制作成图像；- 最后，实现用户界面对用户操作的反应。