When will I receive my Course Certificate?

If you complete the course successfully, your electronic Course Certificate will be added to your Accomplishments page - from there, you can print your Course Certificate or add it to your LinkedIn profile.

Why can’t I audit this course?

This course is currently available only to learners who have paid or received financial aid, when available.

Is financial aid available?

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Créer des pipelines de données en batch sur Google Cloud

Ce cours fait partie de Spécialisation "Data Engineer, Big Data and ML on Google Cloud en Français"

Instructeur : Google Cloud Training

Inclus avec

4 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Certaines connaissances prérequises

9 heures à compléter

Planning flexible

Apprenez à votre propre rythme

4 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Certaines connaissances prérequises

9 heures à compléter

Planning flexible

Apprenez à votre propre rythme

Ce que vous apprendrez

Déterminer si les pipelines de données en batch constituent le choix approprié pour votre cas d'utilisation
Concevoir et créer des pipelines de données en batch évolutifs pour l'ingestion et la transformation de volumes importants de données
Implémenter des contrôles de qualité des données dans les pipelines en batch pour assurer l'intégrité des données
Orchestrer, gérer et surveiller les workflows de pipeline de données en batch, en implémentant la gestion des exceptions et l'observabilité

Compétences que vous acquerrez

Catégorie : Data Integrity
Catégorie : Data Pipelines
Catégorie : Data Warehousing
Catégorie : Dataflow
Catégorie : Data Integration
Catégorie : Serverless Computing
Catégorie : Data Validation
Catégorie : Performance Tuning
Catégorie : Data Quality
Catégorie : Data Maintenance
Catégorie : Scalability
Catégorie : Data Processing
Catégorie : Data Transformation
Catégorie : Extract, Transform, Load
Catégorie : Google Cloud Platform

Outils que vous découvrirez

Catégorie : Apache Spark

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Évaluations

5 devoirs

Enseigné en Français

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise du sujet

Ce cours fait partie de la Spécialisation "Data Engineer, Big Data and ML on Google Cloud en Français"

Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.

Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable

Il y a 4 modules dans ce cours

Dans ce cours de niveau intermédiaire, vous apprendrez à concevoir, créer et optimiser des pipelines de données en batch robustes sur Google Cloud. Au-delà des bases de la gestion des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des workflows, essentielles pour l'informatique décisionnelle et les rapports critiques.

Vous vous entraînerez à utiliser Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour l'implémentation, et vous aborderez des considérations importantes concernant la qualité des données, la surveillance et les alertes pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Il est recommandé d'avoir des connaissances de base sur l'entreposage de données, les processus ETL/ELT, SQL, Python et les concepts de Google Cloud.

Vous découvrirez le rôle essentiel de l'ingénieur de données dans le développement et la maintenance de pipelines de données en batch, comprendrez leurs composants de base et leur cycle de vie, et analyserez les difficultés courantes liées au traitement des données par lot. Vous identifierez également les principaux services Google Cloud qui permettent de relever ces défis.

Inclus

1 devoir2 plugins

Vous allez concevoir des pipelines de données en batch évolutifs pour l'ingestion et la transformation de grands volumes de données. Vous apprendrez également à optimiser les jobs par lot pour obtenir un débit élevé et une meilleure rentabilité à l'aide de diverses techniques de gestion des ressources et d'optimisation des performances.

Inclus

1 devoir2 éléments d'application6 plugins

1 devoir Total 8 minutes

Quiz du module 2 : Conception et transformations 8 minutes

2 éléments d'application Total 105 minutes

Atelier : Créer un pipeline de données en batch simple avec Serverless pour Apache Spark 45 minutes
Atelier : Créer un pipeline de données en batch simple avec l'UI du générateur de jobs Dataflow 60 minutes

6 plugins Total 90 minutes

Concevoir des pipelines en batch 15 minutes
Transformations de données à grande échelle 15 minutes
Dataflow et Serverless pour Apache Spark 15 minutes
Connexions des données et orchestration 15 minutes
Exécuter un pipeline Apache Spark 15 minutes
Optimiser les performances du pipeline en batch 15 minutes

Vous allez développer des règles de validation des données et une logique de nettoyage pour assurer la qualité des données dans les pipelines en batch. Vous implémenterez également des stratégies pour gérer l'évolution des schémas et dédupliquer les données dans de grands ensembles de données.

Inclus

1 devoir1 élément d'application6 plugins

1 devoir Total 8 minutes

Quiz du module 3 : Validation des données et évolution des schémas 8 minutes

1 élément d'application Total 90 minutes

Atelier : Valider la qualité des données dans un pipeline en batch avec Serverless pour Apache Spark 90 minutes

6 plugins Total 90 minutes

Validation et nettoyage des données par lot 15 minutes
Enregistrer et analyser les exceptions 15 minutes
Évolution des schémas pour les pipelines en batch 15 minutes
Intégrité et duplication des données 15 minutes
Déduplication avec Serverless pour Apache Spark 15 minutes
Déduplication avec Dataflow 15 minutes

Vous orchestrerez des workflows de pipeline de données en batch complexes pour planifier de manière efficace et suivre la traçabilité. Vous implémenterez également une gestion des exceptions, une surveillance et une observabilité robustes pour les pipelines de données en batch.

Inclus

2 devoirs1 élément d'application6 plugins

2 devoirs Total 16 minutes

Quiz du module 4 : Orchestrations et DAG 8 minutes
Quiz du module 4 : Observabilité 8 minutes

1 élément d'application Total 9 minutes

Atelier : Créer des pipelines en batch dans Cloud Data Fusion 9 minutes

6 plugins Total 90 minutes

Orchestration pour le traitement par lot 15 minutes
Cloud Composer 15 minutes
Observabilité unifiée 15 minutes
Alertes et dépannage 15 minutes
Gestion visuelle des pipelines 15 minutes
Félicitations : résumé du cours 15 minutes

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeur

Google Cloud Training

Google Cloud

2 108 Cours 3 996 443 apprenants

Offert par

Google Cloud

En savoir plus sur Cloud Computing

Google Cloud
Build Batch Data Pipelines on Google Cloud
Cours
Google Cloud
Serverless Data Processing with Dataflow
Spécialisation
Google Cloud
Building Batch Pipelines in Cloud Data Fusion
Projet
Google Cloud
Google Kubernetes Engine Pipeline using Cloud Build
Projet

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018

’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020

’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021

’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Découvrir les diplômes

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions

Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.

If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.

Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.