使用 Shell、Airflow 和 Kafka 的 ETL 和数据管道

通过 Coursera Plus 提高技能，仅需 239 美元/年（原价 399 美元）。立即节省

使用 Shell、Airflow 和 Kafka 的 ETL 和数据管道

Q: 我什么时候能看到讲座和作业？

要获得课程资料、作业和证书，您需要在注册课程时购买证书体验。 您可以尝试免费试听，或申请资助。课程可能提供 "完整课程，无证书"。通过该选项，您可以查看所有课程资料，提交必要的评估，并获得最终成绩。这也意味着您无法购买证书体验。

本课程是多个项目的一部分。

位教师：Jeff Grossman另外 4 个

68,444 人已注册

包含在中

5个模块

深入了解一个主题并学习基础知识。

449 条评论

中级等级

推荐体验

灵活的计划

2 周在 10 小时一周

自行安排学习进度

87%

大多数学生喜欢此课程

5个模块

深入了解一个主题并学习基础知识。

449 条评论

中级等级

推荐体验

灵活的计划

2 周在 10 小时一周

自行安排学习进度

87%

大多数学生喜欢此课程

您将学到什么

描述并对比提取、转换、加载（ETL）流程和提取、加载、转换（ELT）流程。
解释批处理与并发执行模式。
通过 bash 和 Python 函数实现 ETL 工作流程。
描述数据管道组件、流程、工具和技术。

您将获得的技能

类别：Data Transformation
类别：Scalability
类别：Data Quality
类别：Data Migration
类别：Data Pipelines
类别：Data Mart
类别：Extract, Transform, Load
类别：Data Storage Technologies
类别：Data Processing
类别：Real Time Data
类别：Data Integration
类别：Data Warehousing
类别：Web Scraping
类别：Performance Tuning

您将学习的工具

类别：Apache Airflow
类别：Apache Kafka

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

11 任务¹

AI 评分请参见免责声明

授课语言：英语（English）

积累特定领域的专业知识

此课程作为的一部分提供

在注册此课程时，您还需要选择一个特定的合作项目。

向行业专家学习新概念
获得对主题或工具的基础理解
通过实践项目培养工作相关技能
获得可共享的职业证书

该课程共有5个模块

深入探讨将原始数据转换为可用于分析的数据的两种不同方法。一种方法是提取、转换、加载（ETL）流程。另一种相反的方法是提取、加载和转换（ELT）流程。ETL 流程适用于数据仓库和数据集市。ELT 流程适用于数据湖，其中数据由请求/调用应用程序按需转换。

在本课程中，您将了解 ETL 和数据管道使用的不同工具和技术。ETL 和 ELT 都是从源系统中提取数据，通过数据管道移动数据，并将数据存储到目标系统中。在本课程中，您将体验 ELT 和 ETL 处理的不同之处，并确定两者的用例。您将确定用于提取数据、逻辑或物理合并提取的数据以及将数据加载到数据存储库的方法和工具。您还将定义应用于源数据的转换，以使数据可信、符合上下文并可供数据用户访问。您将能够概述将数据加载到目标系统、验证数据质量、监控加载故障以及在故障情况下使用恢复机制的一些多种方法。课程结束时，您还将了解如何使用 Apache Airflow 构建数据管道，并了解使用这种方法的优势。您还将学习如何使用 Apache Kafka 构建流管道，以及 Kafka 的核心组件，包括：经纪人、主题、分区、复制、生产者和消费者。最后，您将完成一个可共享的最终项目，以展示您在每个模块中学到的技能。

ETL 或 Extract, Transform, and Load 流程用于对数据的灵活性、速度和可扩展性要求较高的情况。您将探索类似流程 ETL 和 ELT 之间的一些关键区别，其中包括转换的位置、灵活性、Big Data 支持和洞察时间。您将了解到，对访问原始数据的需求越来越大，这推动了从 ETL 到 ELT 的演变。数据提取涉及包括数据库查询、网络搜刮和 API 在内的先进技术。您还将了解到，数据 Transformer 是指对数据进行格式化以适应应用程序，并且数据是成批 Load 或连续流加载的。

涵盖的内容

7个视频2篇阅读材料2个作业1个插件

7个视频总计32分钟

课程介绍视频 5分钟
ETL 基础知识 5分钟
英语语言教学基础 4分钟
ETL 与 ELT 的比较 4分钟
数据提取技术 4分钟
数据转换技术简介 4分钟
数据加载技术 4分钟

2篇阅读材料总计7分钟

课程介绍 4分钟
摘要和要点 3分钟

2个作业总计40分钟

分级测验：ETL 和 ELT 流程 30分钟
ETL 和 ELT 流程 10分钟

1个插件总计5分钟

互动性：区分 ETL 和 ELT 5分钟

提取、转换和加载（ETL）管道是通过 Bash 脚本创建的，可以使用 cron 按计划运行。数据管道将数据从一个地方或形式移动到另一个地方或形式。数据管道流程包括调度或触发、监控、维护和优化。此外，批处理管道提取并操作成批数据。而流式数据管道则是快速连续地逐个摄取数据包。在本模块中，您将了解到流式管道适用于需要最新数据的情况。您将了解并行化和 I/O 缓冲区有助于缓解瓶颈。您还将学习如何用延迟和吞吐量来描述数据管道性能。

涵盖的内容

5个视频4篇阅读材料4个作业1个应用程序项目1个插件

5个视频总计25分钟

使用 Shell 脚本进行 ETL 5分钟
数据管道简介 4分钟
关键数据管道流程 5分钟
批处理与流数据管道使用案例 5分钟
数据管道工具和技术 7分钟

4篇阅读材料总计15分钟

Linux 命令和 Shell 脚本 2分钟
ETL 技术 10分钟
摘要和要点 1分钟
摘要和要点 2分钟

4个作业总计80分钟

分级测验：使用 Shell 脚本进行 ETL 30分钟
分级测验：数据管道简介 30分钟
实践测验：使用 Shell 脚本进行 ETL 10分钟
实践测验：数据管道简介 10分钟

1个应用程序项目总计30分钟

上机实验室：使用 Shell 脚本进行 ETL 30分钟

1个插件总计10分钟

互动性：区分批处理和流处理 10分钟

Apache Airflow 将数据管道表示为 DAG 的方法的主要优势在于，它们是以代码的形式表达的，这使得您的数据管道更具可维护性、可测试性和协作性。任务（DAG 中的节点）是通过实施 Airflow 内置的操作符创建的。在本模块中，您将了解 Apache Airflow 拥有丰富的用户界面，可简化数据管道的工作。您将了解如何以图或树模式可视化 DAG。您还将了解 DAG 定义文件的关键组件，并了解 Airflow 日志会保存到本地文件系统，然后发送到云存储、搜索引擎和日志分析器。

涵盖的内容

5个视频1篇阅读材料2个作业4个应用程序项目1个插件

5个视频总计25分钟

阿帕奇气流概述 6分钟
在 Apache Airflow 中将数据管道表示为 DAG 的优势 7分钟
Apache Airflow UI 4分钟
使用气流构建 DAG 4分钟
气流记录和监测 4分钟

1篇阅读材料总计3分钟

摘要和要点 3分钟

2个作业总计40分钟

分级测验：使用 Airflow 构建数据管道 30分钟
实践测验：使用 Airflow 构建数据管道 10分钟

4个应用程序项目总计120分钟

实践实验室：Apache Airflow 入门 20分钟
实践实验室：使用 PythonOperator 为 Apache Airflow 创建 DAG 40分钟
实践实验室：使用 BashOperator 为 Apache Airflow 创建 DAG 40分钟
实践实验室：监控 DAG 20分钟

1个插件总计15分钟

阅读DAG 结构和操作符 15分钟

Apache Kafka 是一个非常流行的开源事件流管道。事件是一种数据类型，它描述了实体在一段时间内可观察到的状态更新。流行的 Kafka 服务提供商包括 Confluent Cloud、IBM Event Stream 和 Amazon MSK。此外，Kafka Streams API 是一个客户端库，可支持您在事件流管道中进行数据处理。在本模块中，您将了解到 Kafka 的核心组件包括经纪人、主题、分区、复制、生产者和消费者。您将探索 Kafka Stream API 流处理拓扑中两种特殊类型的处理器：源处理器和汇处理器。您还将了解如何使用 Kafka 构建事件流管道。

涵盖的内容

4个视频1篇阅读材料2个作业3个应用程序项目1个插件

4个视频总计26分钟

分布式事件流平台组件 6分钟
Apache Kafka 概述 6分钟
使用 Kafka 构建事件流管道 10分钟
卡夫卡流过程 5分钟

1篇阅读材料

摘要和要点 0分钟

2个作业总计40分钟

分级测验：使用 Kafka 构建流式管道 30分钟
实践测验：使用 Kafka 构建流管道 10分钟

3个应用程序项目总计90分钟

实践实验室：使用 Kafka 处理流数据 20分钟
[单选] 实践实验室：Kafka 消息密钥和偏移 40分钟
[单选] 实践实验室：Kafka Python Client 30分钟

1个插件总计30分钟

Kafka Python 客户端 30分钟

在这个最后的作业 Module 中，您将运用新学到的知识探索非常令人兴奋的动手实验。 "使用 Apache Airflow 创建 ETL 数据管道"。您将使用真实世界的场景来探索构建这些 ETL 管道。

涵盖的内容

4篇阅读材料1个作业1次同伴评审4个应用程序项目1个插件

4篇阅读材料总计24分钟

项目概述 10分钟
分级计时期末考试说明 10分钟
祝贺和下一步行动 2分钟
课程团队的感谢 2分钟

1个作业总计90分钟

期末计时测验 90分钟

1次同伴评审总计30分钟

方案 2：Peer-to-Peer 评审：项目提交和同行评审 30分钟

4个应用程序项目总计275分钟

实践实验室：使用 Apache Airflow 通过 BashOperator 构建 ETL 数据管道 90分钟
[单选] 实践实验室：使用 PythonOperator 和 Apache Airflow 构建 ETL 管道 90分钟
[单选] 实践实验室：使用 Kafka 构建流 ETL 管道 45分钟
方案 1：AI-分级--最终提交和评估 50分钟

1个插件总计15分钟

阅读：最终提交指南和交付成果 15分钟

获得职业证书

将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。

位教师

授课教师评分

(110个评价)

Jeff Grossman

IBM

3 门课程 732,874 名学生

Yan Luo

IBM

7 门课程 400,563 名学生

提供方

IBM

人们为什么选择 Coursera 来帮助自己实现职业发展

Felipe M.

自 2018开始学习的学生

''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'

Jennifer J.

自 2020开始学习的学生

''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'

Larry W.

自 2021开始学习的学生

''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'

Chaitanya A.

''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'

学生评论

5 stars
71.04%
4 stars
17.81%
3 stars
6.23%
2 stars
2.44%
1 star
2.44%

显示 3/449 个

已于 Jul 22, 2023审阅

Labs in this course are very helpful and to the point. It took me a while to complete this course but i learned a lot.

已于 Jan 20, 2025审阅

Relevant information in recordings, good recap of every video and hand-on lesson in the end to concrete the knowledge.

已于 Sep 6, 2022审阅

Very useful high-level overview with practical examples of the major technologies that drive modern data pipelines.

常见问题

要获得课程资料、作业和证书，您需要在注册课程时购买证书体验。您可以尝试免费试听，或申请资助。课程可能提供 "完整课程，无证书"。通过该选项，您可以查看所有课程资料，提交必要的评估，并获得最终成绩。这也意味着您无法购买证书体验。

注册课程后，您就可以访问证书中的所有课程，并在完成作业后获得证书。您的电子证书将被添加到您的 "成就 "页面--在那里，您可以打印证书或将其添加到您的 LinkedIn 个人资料中。

¹ 本课程的部分作业采用 AI 评分。对于这些作业，将根据 Coursera 隐私声明使用您的数据。