When will I receive my Course Certificate?

If you complete the course successfully, your electronic Course Certificate will be added to your Accomplishments page - from there, you can print your Course Certificate or add it to your LinkedIn profile.

Why can’t I audit this course?

This course is currently available only to learners who have paid or received financial aid, when available.

Is financial aid available?

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Como criar pipelines de dados em lote no Google Cloud

本课程是 Data Engineer, Big Data and ML on Google Cloud em Português 专项课程的一部分

位教师：Google Cloud Training

包含在中

了解更多

4个模块

深入了解一个主题并学习基础知识。

16 条评论

中级等级

需要一些相关经验

1 周完成

在 10 小时一周

灵活的计划

自行安排学习进度

4个模块

深入了解一个主题并学习基础知识。

16 条评论

中级等级

需要一些相关经验

1 周完成

在 10 小时一周

灵活的计划

自行安排学习进度

您将学到什么

Determinar se os pipelines de dados em lote são a escolha correta para seu caso de uso comercial.
Projetar e criar pipelines de dados em lote escalonáveis para ingestões e transformações de alto volume.
Implementar controles de qualidade nos pipelines em lote para garantir a integridade dos dados.
Orquestrar, gerenciar e monitorar fluxos de trabalho de pipeline de dados em lote, implementando o tratamento de erros e a observabilidade.

您将获得的技能

您将学习的工具

Apache Spark

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

5 项作业

授课语言：葡萄牙语（巴西）

了解顶级公司的员工如何掌握热门技能

了解关于 Coursera for Business 的更多信息

Petrobras, TATA, Danone, Capgemini, P&G 和 L'Oreal 的徽标

积累特定领域的专业知识

本课程是 Data Engineer, Big Data and ML on Google Cloud em Português 专项课程专项课程的一部分

在注册此课程时，您还会同时注册此专项课程。

向行业专家学习新概念
获得对主题或工具的基础理解
通过实践项目培养工作相关技能
获得可共享的职业证书

该课程共有4个模块

"Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes.

Você vai conhecer o papel fundamental de um engenheiro de dados no desenvolvimento e na manutenção de pipelines de dados em lote, entender os principais componentes e o ciclo de vida desses mecanismos e analisar os desafios mais comuns no processamento de dados em lote. Também vai identificar os principais serviços do Google Cloud que ajudam a resolver essas dificuldades.

涵盖的内容

1个作业2个插件

Você vai projetar pipelines de dados em lote escalonáveis para a ingestão e transformação de dados em grande volume. Também vai otimizar jobs em lote para ter economia e alta capacidade de processamento usando várias técnicas de gerenciamento de recursos e ajuste de desempenho.

涵盖的内容

1个作业2个应用程序项目6个插件

1个作业总计8分钟

Teste do módulo 2: Design e transformações 8分钟

2个应用程序项目总计105分钟

Laboratório: Criar um pipeline de dados em lote simples com o Serverless para Apache Spark 45分钟
Laboratório: Criar um pipeline de dados em lote simples com a interface do job builder do Dataflow 60分钟

6个插件总计90分钟

Projetar pipelines em lote 15分钟
Transformações de dados em grande escala 15分钟
Dataflow e Serverless para Apache Spark 15分钟
Orquestração e conexões de dados 15分钟
Executar um pipeline do Apache Spark 15分钟
Otimizar a performance do pipeline em lote 15分钟

Você vai desenvolver regras de validação de dados e lógica de limpeza para garantir a qualidade deles nos pipelines em lote. Também vai implementar estratégias para gerenciar a evolução do esquema e eliminar duplicações em grandes conjuntos de dados.

涵盖的内容

1个作业1个应用程序项目6个插件

1个作业总计8分钟

Teste do Módulo 3: Validação de dados e evolução do esquema 8分钟

1个应用程序项目总计90分钟

Laboratório: Validar a qualidade dos dados em um pipeline em lote com o Serverless para Apache Spark 90分钟

6个插件总计90分钟

Validação e limpeza de dados em lote 15分钟
Registrar e analisar erros 15分钟
Evolução do esquema nos pipelines em lote 15分钟
Integridade e duplicação de dados 15分钟
Eliminação de duplicação com o Serverless para Apache Spark 15分钟
Eliminação de duplicação com o Dataflow 15分钟

Você vai orquestrar fluxos de trabalho complexos de pipeline de dados em lote para agendamento eficiente e rastreamento de linhagem. Também vai implementar tratamento de erros, monitoramento e observabilidade robustos nos pipelines de dados em lote.

涵盖的内容

2个作业1个应用程序项目6个插件

2个作业总计16分钟

Teste do módulo 4: Orquestrações e DAGs 8分钟
Teste do módulo 4: Observabilidade 8分钟

1个应用程序项目总计90分钟

Laboratório: Como criar pipelines em lote no Cloud Data Fusion 90分钟

6个插件总计90分钟

Orquestração para processamento em lote 15分钟
Cloud Composer 15分钟
Observabilidade unificada 15分钟
Alertas e solução de problemas 15分钟
Gerenciamento visual de pipelines 15分钟
Parabéns: resumo do curso 15分钟

获得职业证书

将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。

位教师

授课教师评分

(5个评价)

Google Cloud Training

Google Cloud

2,106 门课程 3,991,944 名学生

提供方

Google Cloud

从 Cloud Computing 浏览更多内容

Google Cloud
Build Batch Data Pipelines on Google Cloud
课程

人们为什么选择 Coursera 来帮助自己实现职业发展

Felipe M.

自 2018开始学习的学生

''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'

Jennifer J.

自 2020开始学习的学生

''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'

Larry W.

自 2021开始学习的学生

''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'

Chaitanya A.

''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'

通过 Coursera Plus 开启新生涯

无限制访问 10,000+ 世界一流的课程、实践项目和就业就绪证书课程 - 所有这些都包含在您的订阅中

了解更多

通过在线学位推动您的职业生涯

获取世界一流大学的学位 - 100% 在线

探索学位

加入超过 3400 家选择 Coursera for Business 的全球公司

提升员工的技能，使其在数字经济中脱颖而出

了解更多

常见问题

Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.

If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.

Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.