在本中级课程中，您将学习在 Google Cloud 上设计、构建和优化强大的 Batch 数据管道。除了基本的数据处理之外，您还将探索大规模数据转换和高效的工作流协调，这对及时的 Business Intelligence 和关键报告至关重要。 使用 Apache Beam 的 Dataflow 和 Apache Spark 的 Serverless（Dataproc Serverless）进行实施，并解决数据质量、监控和警报方面的重要问题，以确保管道的可靠性和卓越运营。建议具备数据 Warehhouse、ETL/ELT、SQL、Python 和 Google Cloud 概念的基础知识。
在 Google Cloud 上构建批量数据管道
在 Google Cloud 上构建批量数据管道
本课程是多个项目的一部分。
访问权限由 Coursera Learning Team 提供
50,048 人已注册
了解顶级公司的员工如何掌握热门技能
积累特定领域的专业知识
此课程作为 的一部分提供
在注册此课程时，您还需要选择一个特定的合作项目。
- 向行业专家学习新概念
- 获得对主题或工具的基础理解
- 通过实践项目培养工作相关技能
- 获得可共享的职业证书
该课程共有4个模块
您将学习数据工程师在开发和维护 Batch 数据管道中的关键作用，了解其核心组件和生命周期，并分析批量数据处理中的常见挑战。您还将确定应对这些挑战的关键 Google Cloud 服务。
涵盖的内容
1个作业2个插件
您将设计可扩展的批处理数据管道，用于大容量数据的摄取和 Transformer。您还将使用各种资源管理和性能调整技术优化批处理作业，以实现高吞吐量和成本效益。
涵盖的内容
1个作业2个应用程序项目7个插件
您将开发数据 Validation 规则和清理逻辑，以确保批处理管道中的数据质量。您还将实施管理模式演变的策略，并在大型数据集中执行重复数据删除。
涵盖的内容
1个作业1个应用程序项目6个插件
您将协调复杂的批量数据管道工作流，以实现高效的调度和线程跟踪。您还将为 Batch 数据管道实现强大的错误处理、监控和可观察性。
涵盖的内容
2个作业1个应用程序项目6个插件
获得职业证书
将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。
位教师
授课教师评分
(251个评价)
提供方
人们为什么选择 Coursera 来帮助自己实现职业发展
Felipe M.
自 2018开始学习的学生
''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'
Jennifer J.
自 2020开始学习的学生
''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'
Larry W.
自 2021开始学习的学生
''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'
Chaitanya A.
''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'
学生评论
- 5 stars
65.98%
- 4 stars
25.71%
- 3 stars
6.01%
- 2 stars
1.46%
- 1 star
0.81%
显示 3/1711 个
UB
已于 May 27, 2020审阅
A great course to help understand the various wonderful options Google Cloud has to offer to move on-premise Hadoop workload to Google Cloud Platform to leverage scalability of clusters.
MP
已于 May 19, 2020审阅
Great course teaching how to build batch pipelines through GCP technologies, and showing cool tools for data wrangling and analysis
IY
已于 May 13, 2020审阅
This course includes new services not much mentioned in the previous course. But, proportion of the module is not balanced.
从 信息技术 浏览更多内容
Google Cloud
Google Cloud
Google Cloud
