描述 ML，解释其在数据工程中的作用，总结生成式人工智能，讨论 Spark 的用途，分析 ML 管道和模型持久性。
评估 ML 模型，区分回归、分类和聚类模型，比较数据工程管道和 ML 管道。
使用 Spark SQL 构建数据分析流程，并使用 SparkML 执行回归、分类和聚类。
演示连接 Spark 集群、构建 ML 管道、执行特征提取和转换以及模型持久性。
添加到您的领英档案
7 项作业
通过本模块的学习，您将掌握机器学习技术的相关知识，这些技术可以让计算机在无需明确编程的情况下执行任务。你将探索机器学习模型的生命周期，了解数据工程在机器学习项目中的关键作用。该模块涵盖监督和非监督学习技术，包括分类、回归和聚类。此外，您还将获得关于生成式人工智能及其潜力的宝贵见解，从而彻底改变多个行业，改善人们的生活，并生成更新的、以前无法想象的数据和体验。
11个视频5篇阅读材料2个作业5个应用程序项目1个插件
本模块将向您介绍 Spark，并概述其在数据工程领域的主要功能和应用。您将通过 SN 实验了解连接到 Spark 集群的过程，并深入学习回归、里程预测、分类、糖尿病分类、聚类和使用 SparkML 对负载数据进行聚类等各种主题。此外，您还将深入了解如何使用 Spark ML 构建这些模型。此外，本模块还将介绍 Apache Spark 上的 GraphFrames，并指导您进行动手实验。
5个视频2篇阅读材料2个作业5个应用程序项目
本模块首先介绍 Apache Spark 结构化流及其在使用 Spark SQL 处理流数据中的作用。你将获得与结构化流相关的关键术语知识。然后，该模块将介绍提取-转换-加载过程，并提供将数据从一个源传输到另一个具有不同数据格式或结构的目的地的实践经验。此外，您还将实际了解使用 Spark 提取和转换特征的特征提取和转换。该模块还深入探讨了使用 Spark 的机器学习管道，演示了相关过程和优势。最后，您将掌握模型持久性的概念及其在机器学习中的重要作用。
6个视频2篇阅读材料2个作业6个应用程序项目2个插件
在本模块中，您将应用在整个课程中获得的数据工程技能和技术。课程结束时，您将完成一个期末项目和作业，以展示自己在这些领域的熟练程度。 您将在一家以擅长处理大型数据集而闻名的航空咨询公司担任数据工程师。作为数据工程师，您的角色至关重要，因为数据科学家需要依靠您的专业知识来执行 ETL（提取、转换、加载）任务和建立机器学习管道。虽然数据科学家拥有机器学习方面的专业知识，但他们还需要您的专业知识来处理各种算法和数据格式。您的贡献对确保他们顺利执行任务起着至关重要的作用。
4篇阅读材料1个作业2个应用程序项目
将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。
Duke University
109 条评论
76.14%
8.25%
9.17%
0.91%
5.50%
显示 3/109 个
已于 Feb 2, 2024审阅
Excellent learning experience - well-designed content and practical sessions.
已于 Mar 22, 2024审阅
Spark is build to work with distributed systems. But here it looks like it is some strange twin of pandas. Some basics of Distributed Systems wanted with at least one at least theoretical examlple.
已于 Mar 1, 2025审阅
It good to learn basics and widen my knowledge in Data Engineering
要获取课程资料、作业和证书，您需要在注册课程时购买证书体验。 您可以尝试免费试听，或申请资助。课程可能提供 "完整课程，无证书"。通过该选项，您可以查看所有课程资料，提交必要的评估，并获得最终成绩。这也意味着您无法购买证书体验。
注册课程后，您就可以访问证书中的所有课程，并在完成作业后获得证书。您的电子证书将被添加到您的 "成就 "页面--在那里，您可以打印证书或将其添加到您的 LinkedIn 个人资料中。
提供助学金，
中
