在本课程中，您将探索各种类型的源系统，了解它们如何生成和更新数据，并排除在现实世界中尝试连接这些系统时可能遇到的常见问题。您将深入了解常见摄取模式的细节，并实施批处理和流管道。您将使用基础架构即代码和管道即代码工具来自动化和协调您的数据管道。您还将探索用于监控数据系统和数据质量的 AWS 和 Open Source 工具。
源系统、数据输入和管道
源系统、数据输入和管道
本课程是 DeepLearning.AI 数据工程 专业证书 的一部分
位教师：Joe Reis
顶尖授课教师
访问权限由 Coursera Learning Team 提供
12,388 人已注册
了解顶级公司的员工如何掌握热门技能
积累 云计算 领域的专业知识
本课程是 DeepLearning.AI 数据工程 专业证书 专项课程的一部分
在注册此课程时，您还会同时注册此专业证书。
- 向行业专家学习新概念
- 获得对主题或工具的基础理解
- 通过实践项目培养工作相关技能
- 通过 DeepLearning.AI 获得可共享的职业证书
该课程共有4个模块
在第 1 课中，您将了解数据工程师通常与之交互的源系统。然后，在第 2 课中，您将学习如何连接到各种源系统并排除常见的连接问题。
涵盖的内容
21个视频9篇阅读材料1个作业1个编程作业3个非评分实验室
本周，您将深入了解批量和流式摄取模式。您将确定每种模式的 Use Cases 和注意事项，然后构建一个批量和流式摄取管道。在研究批量摄取时，您将对比 ETL 和 ELT 模式。您还将探索用于批量和流式摄取的各种 AWS 服务。
涵盖的内容
11个视频6篇阅读材料1个作业1个编程作业1个非评分实验室
在第一课中，您将探索 DataOps 自动化实践，包括将 CI/CD 应用于数据和代码，以及使用 Terraform 等基础架构即代码工具自动配置和管理资源。然后，在第 2 课中，您将探索 DataOps 可观察性和监控实践，包括使用 Great Expectation 等工具监控数据质量，以及使用 Amazon CloudWatch 监控基础架构。
涵盖的内容
17个视频5篇阅读材料1个作业1个编程作业2个非评分实验室
本周，您将学习如何协调数据管道任务。您将识别各种协调工具，但重点将放在 Airflow 上--这是当今该领域最流行、使用最广泛的工具之一。您将了解 Airflow 的核心组件、Airflow UI 以及如何使用 Airflow 的各种功能创建和管理 DAG。
涵盖的内容
11个视频5篇阅读材料1个作业1个编程作业2个非评分实验室
获得职业证书
将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。
位教师
授课教师评分
(37个评价)
人们为什么选择 Coursera 来帮助自己实现职业发展
Felipe M.
自 2018开始学习的学生
''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'
Jennifer J.
自 2020开始学习的学生
''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'
Larry W.
自 2021开始学习的学生
''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'
Chaitanya A.
''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'
学生评论
- 5 stars
89.55%
- 4 stars
4.47%
- 3 stars
0%
- 2 stars
3.73%
- 1 star
2.23%
显示 3/134 个
DD
已于 Mar 23, 2025审阅
best course and best projects to practice for data engineering
YZ
已于 Jul 12, 2025审阅
Great overview of the data pipeline life cycle. If you are new to this area it gives you a good introduction and best practices from the beginning.
MH
已于 Jun 8, 2025审阅
to the point and clear information related to that how data systems work and ingestion process and pipleine that is the main crux of the data engineering
