使用 Shell、Airflow 和 Kafka 的 ETL 和数据管道

使用 Shell、Airflow 和 Kafka 的 ETL 和数据管道

Q: 我什么时候能看到讲座和作业？

要获取课程资料、作业和证书，您需要在注册课程时购买证书体验。 您可以尝试免费试听，或申请资助。课程可能提供 "完整课程，无证书"。通过该选项，您可以查看所有课程资料，提交必要的评估，并获得最终成绩。这也意味着您无法购买证书体验。

本课程是多个项目的一部分。

位教师：Jeff Grossman

62,918 人已注册

包含在 Coursera Plus 中

了解更多

5个模块

深入了解一个主题并学习基础知识。

4.5

（430 条评论）

中级等级

推荐体验

灵活的计划

2 周在 10 小时一周

自行安排学习进度

87%

大多数学生喜欢此课程

5个模块

深入了解一个主题并学习基础知识。

4.5

（430 条评论）

中级等级

推荐体验

灵活的计划

2 周在 10 小时一周

自行安排学习进度

87%

大多数学生喜欢此课程

您将学到什么

描述并对比提取、转换、加载（ETL）流程和提取、加载、转换（ELT）流程。
解释批处理与并发执行模式。
通过 bash 和 Python 函数实现 ETL 工作流程。
描述数据管道组件、流程、工具和技术。

您将获得的技能

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

11 任务¹

AI 评分请参见免责声明

授课语言：英语（English）

了解顶级公司的员工如何掌握热门技能

了解关于 Coursera for Business 的更多信息

Petrobras, TATA, Danone, Capgemini, P&G 和 L'Oreal 的徽标

积累特定领域的专业知识

此课程作为的一部分提供

在注册此课程时，您还需要选择一个特定的合作项目。

向行业专家学习新概念
获得对主题或工具的基础理解
通过实践项目培养工作相关技能
获得可共享的职业证书

该课程共有5个模块

深入探讨将原始数据转换为可用于分析的数据的两种不同方法。一种方法是提取、转换、加载（ETL）流程。另一种相反的方法是提取、加载和转换（ELT）流程。ETL 流程适用于数据仓库和数据集市。ELT 流程适用于数据湖，其中数据由请求/调用应用程序按需转换。

在本课程中，您将了解 ETL 和数据管道使用的不同工具和技术。ETL 和 ELT 都是从源系统中提取数据，通过数据管道移动数据，并将数据存储到目标系统中。在本课程中，您将体验 ELT 和 ETL 处理的不同之处，并确定两者的用例。您将确定用于提取数据、逻辑或物理合并提取的数据以及将数据加载到数据存储库的方法和工具。您还将定义应用于源数据的转换，以使数据可信、符合上下文并可供数据用户访问。您将能够概述将数据加载到目标系统、验证数据质量、监控加载故障以及在故障情况下使用恢复机制的一些多种方法。课程结束时，您还将了解如何使用 Apache Airflow 构建数据管道，并了解使用这种方法的优势。您还将学习如何使用 Apache Kafka 构建流管道，以及 Kafka 的核心组件，包括：经纪人、主题、分区、复制、生产者和消费者。最后，您将完成一个可共享的最终项目，以展示您在每个模块中学到的技能。

ETL 或 Extract, Transform, and Load 流程用于对数据的灵活性、速度和可扩展性要求较高的情况。您将探索类似流程 ETL 和 ELT 之间的一些关键区别，其中包括转换的位置、灵活性、Big Data 支持和洞察时间。您将了解到，对访问原始数据的需求越来越大，这推动了从 ETL 到 ELT 的演变。数据提取涉及包括数据库查询、网络搜刮和 API 在内的先进技术。您还将了解到，数据 Transformer 是指对数据进行格式化以适应应用程序，并且数据是成批 Load 或连续流加载的。

涵盖的内容

7个视频2篇阅读材料2个作业1个插件

7个视频总计32分钟

课程介绍视频5分钟
ETL 基础知识5分钟
英语语言教学基础4分钟
ETL 与 ELT 的比较4分钟
数据提取技术4分钟
数据转换技术简介4分钟
数据加载技术3分钟

2篇阅读材料总计7分钟

课程介绍4分钟
摘要和要点3分钟

2个作业总计40分钟

ETL 和 ELT 流程10分钟
分级测验：ETL 和 ELT 流程30分钟

1个插件总计5分钟

互动性：区分 ETL 和 ELT5分钟

提取、转换和加载（ETL）管道是通过 Bash 脚本创建的，可以使用 cron 按计划运行。数据管道将数据从一个地方或形式移动到另一个地方或形式。数据管道流程包括调度或触发、监控、维护和优化。此外，批处理管道提取并操作成批数据。而流式数据管道则是快速连续地逐个摄取数据包。在本模块中，您将了解到流式管道适用于需要最新数据的情况。您将了解并行化和 I/O 缓冲区有助于缓解瓶颈。您还将学习如何用延迟和吞吐量来描述数据管道性能。

涵盖的内容

5个视频4篇阅读材料4个作业1个应用程序项目1个插件

5个视频总计25分钟

使用 Shell 脚本进行 ETL4分钟
数据管道简介4分钟
关键数据管道流程4分钟
批处理与流数据管道使用案例4分钟
数据管道工具和技术6分钟

4篇阅读材料总计15分钟

Linux 命令和 Shell 脚本2分钟
ETL 技术10分钟
摘要和要点1分钟
摘要和要点2分钟

4个作业总计80分钟

实践测验：使用 Shell 脚本进行 ETL10分钟
实践测验：数据管道简介10分钟
分级测验：使用 Shell 脚本进行 ETL30分钟
分级测验：数据管道简介30分钟

1个应用程序项目总计30分钟

上机实验室：使用 Shell 脚本进行 ETL30分钟

1个插件总计10分钟

互动性：区分批处理和流处理10分钟

Apache Airflow 将数据管道表示为 DAG 的方法的主要优势在于，它们是以代码的形式表达的，这使得您的数据管道更具可维护性、可测试性和协作性。任务（DAG 中的节点）是通过实施 Airflow 内置的操作符创建的。在本模块中，您将了解 Apache Airflow 拥有丰富的用户界面，可简化数据管道的工作。您将了解如何以图或树模式可视化 DAG。您还将了解 DAG 定义文件的关键组件，并了解 Airflow 日志会保存到本地文件系统，然后发送到云存储、搜索引擎和日志分析器。

涵盖的内容

5个视频1篇阅读材料2个作业4个应用程序项目1个插件

5个视频总计25分钟

阿帕奇气流概述6分钟
在 Apache Airflow 中将数据管道表示为 DAG 的优势6分钟
Apache Airflow UI3分钟
使用气流构建 DAG4分钟
气流记录和监测4分钟

1篇阅读材料总计3分钟

摘要和要点3分钟

2个作业总计40分钟

实践测验：使用 Airflow 构建数据管道10分钟
分级测验：使用 Airflow 构建数据管道30分钟

4个应用程序项目总计120分钟

实践实验室：Apache Airflow 入门20分钟
实践实验室：使用 PythonOperator 为 Apache Airflow 创建 DAG40分钟
实践实验室：使用 BashOperator 为 Apache Airflow 创建 DAG40分钟
实践实验室：监控 DAG20分钟

1个插件总计15分钟

阅读DAG 结构和操作符15分钟

Apache Kafka 是一个非常流行的开源事件流管道。事件是一种数据类型，它描述了实体在一段时间内可观察到的状态更新。流行的 Kafka 服务提供商包括 Confluent Cloud、IBM Event Stream 和 Amazon MSK。此外，Kafka Streams API 是一个客户端库，可支持您在事件流管道中进行数据处理。在本模块中，您将了解到 Kafka 的核心组件包括经纪人、主题、分区、复制、生产者和消费者。您将探索 Kafka Stream API 流处理拓扑中两种特殊类型的处理器：源处理器和汇处理器。您还将了解如何使用 Kafka 构建事件流管道。

涵盖的内容

4个视频1篇阅读材料2个作业3个应用程序项目1个插件

4个视频总计26分钟

分布式事件流平台组件5分钟
Apache Kafka 概述6分钟
使用 Kafka 构建事件流管道9分钟
卡夫卡流过程5分钟

1篇阅读材料

摘要和要点0分钟

2个作业总计40分钟

实践测验：使用 Kafka 构建流管道10分钟
分级测验：使用 Kafka 构建流式管道30分钟

3个应用程序项目总计90分钟

实践实验室：使用 Kafka 处理流数据20分钟
[单选] 实践实验室：Kafka 消息密钥和偏移40分钟
[单选] 实践实验室：Kafka Python Client30分钟

1个插件总计30分钟

Kafka Python 客户端30分钟

在这个最后的作业模块中，您将运用新学到的知识来探索两个非常令人兴奋的动手实验。 "使用 Apache Airflow 创建 ETL 数据管道 "和 "使用 Kafka 创建流数据管道"。您将探索使用真实场景构建这些 ETL 管道。您将提取、转换数据并将其加载到 CSV 文件中。您还将在 Apache Kafka 中创建名为 "toll "的主题，下载和定制流数据消费者，以及验证数据库表中是否收集了流数据。