使用数据流进行无服务器数据处理：开发管道

使用数据流进行无服务器数据处理：开发管道

本课程是多个项目的一部分。

位教师：Google Cloud Training

访问权限由 New York State Department of Labor 提供

4,530 人已注册

10个模块

深入了解一个主题并学习基础知识。

44 条评论

高级设置等级

面向相关领域的从业人员而设计

2 周完成

在 10 小时一周

灵活的计划

自行安排学习进度

10个模块

深入了解一个主题并学习基础知识。

44 条评论

高级设置等级

面向相关领域的从业人员而设计

2 周完成

在 10 小时一周

灵活的计划

自行安排学习进度

您将学到什么

回顾 "Google Cloud 上的数据工程 "课程中涉及的 Apache Beam 主要概念
回顾 DE 中涉及的核心流概念（无界 PCollections、窗口、水印和触发器）
为数据流流水线选择和调整 I/O
使用模式简化 Beam 代码并提高管道性能

您将获得的技能

您将学习的工具

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

8 项作业

授课语言：英语（English）

了解顶级公司的员工如何掌握热门技能

了解关于 Coursera for Business 的更多信息

Petrobras, TATA, Danone, Capgemini, P&G 和 L'Oreal 的徽标

积累特定领域的专业知识

此课程作为的一部分提供

在注册此课程时，您还需要选择一个特定的合作项目。

向行业专家学习新概念
获得对主题或工具的基础理解
通过实践项目培养工作相关技能
获得可共享的职业证书

该课程共有10个模块

在数据流课程系列的第二部分，我们将深入探讨如何使用 Beam SDK 开发管道。我们首先回顾一下 Apache Beam 的概念。接下来，我们将讨论使用窗口、水印和触发器处理流数据。然后，我们将介绍管道中源和汇的选项、表达结构化数据的 Structure 以及如何使用状态和定时器 API 进行有状态转换。接下来，我们将回顾有助于最大限度提高管道性能的最佳实践。在课程的最后，我们将介绍在 Beam 中表示业务逻辑的 SQL 和数据帧，以及如何使用 Beam 笔记本迭代开发管道。

本模块介绍课程和课程大纲

涵盖的内容

1个视频1篇阅读材料

回顾 Apache Beam 的主要概念，以及如何应用这些概念编写自己的数据处理管道。

涵盖的内容

3个视频1篇阅读材料1个作业2个应用程序项目1个插件

3个视频总计9分钟

光束基础知识 3分钟
实用 Transformer 2分钟
DoFn 生命周期 4分钟

1篇阅读材料总计10分钟

其他资源 10分钟

1个作业总计10分钟

光束概念审查 10分钟

2个应用程序项目总计180分钟

实验室：使用 Apache Beam 和 Dataflow（Java）编写 ETL 管道 90分钟
实验室：使用 Apache Beam 和 Dataflow（Python）编写 ETL 管道 90分钟

1个插件总计15分钟

访问和完成实验室 15分钟

在本 Modulation 中，您将学习如何使用 Dataflow 以流式方式处理数据。为此，您需要学习三个主要概念：如何在窗口中分组数据；水印的重要性在于了解窗口何时准备好产生结果；以及如何控制窗口何时以及多少次发出输出。

涵盖的内容

3个视频1篇阅读材料1个作业4个应用程序项目

3个视频总计23分钟

视窗 6分钟
水印 9分钟
触发器 8分钟

1篇阅读材料总计10分钟

其他资源 10分钟

1个作业总计10分钟

窗口、水印和触发器 10分钟

4个应用程序项目总计480分钟

实验室：使用数据流的批量解析管道（Java） 120分钟
实验室：使用数据流（Python）批量解析管道 120分钟
实验室：使用数据流进行无服务器数据处理 - 使用数据流进行流解析 (Java) 120分钟
实验室：使用数据流进行无服务器数据处理 - 使用数据流进行流解析（Python） 120分钟

在本模块中，您将了解什么是数据流中的源和汇。Modulation 将举例说明 TextIO、FileIO、BigQueryIO、PubsubIO、KafKaIO、BigtableIO、AvroIO 和 Splittable DoFn。Modulation 还将指出与每种 I/O 相关的一些有用功能。