Quand recevrai-je mon certificat de cours ?

Si vous terminez le cours avec succès, votre certificat de cours électronique sera ajouté à votre page de réalisations - de là, vous pouvez imprimer votre certificat de cours ou l'ajouter à votre profil LinkedIn.

Pourquoi ne puis-je pas suivre ce cours ?

Ce cours n'est actuellement accessible qu'aux apprenants qui ont payé ou reçu une aide financière, le cas échéant.

Créer des pipelines de données par lots sur Google Cloud

Ce cours fait partie de plusieurs programmes.

Instructeur : Google Cloud Training

50 160 déjà inscrits

Inclus avec

4 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

1,711 avis

niveau Intermédiaire

Certaines connaissances prérequises

Planning flexible

1 semaine à 10 heures une semaine

Apprenez à votre propre rythme

84%

La plupart des étudiants ont apprécié ce cours

4 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

1,711 avis

niveau Intermédiaire

Certaines connaissances prérequises

Planning flexible

1 semaine à 10 heures une semaine

Apprenez à votre propre rythme

84%

La plupart des étudiants ont apprécié ce cours

Ce que vous apprendrez

Déterminez si les pipelines de données en mode batch sont le bon choix pour le cas d'utilisation de votre entreprise.
Concevoir et construire des pipelines de données batch évolutifs pour l'ingestion et la transformation de gros volumes.
Mettre en place des contrôles de qualité des données au sein des pipelines de traitement par lots afin de garantir l'intégrité des données.
Orchestrer, gérer et surveiller les flux de travail des pipelines de données par lots, en mettant en œuvre la gestion des erreurs et l'observabilité à l'aide d'outils de journalisation et de surveillance.

Compétences que vous acquerrez

Catégorie : Data Validation
Catégorie : Serverless Computing
Catégorie : Database Management
Catégorie : Data Warehousing
Catégorie : Data Cleansing
Catégorie : System Monitoring
Catégorie : Performance Tuning
Catégorie : Scalability
Catégorie : Data Quality

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Évaluations

5 devoirs

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise du sujet

Ce cours est disponible dans le cadre de

Lorsque vous vous inscrivez à ce cours, vous devez également sélectionner un programme spécifique.

Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable

Il y a 4 modules dans ce cours

Dans ce cours intermédiaire, vous apprendrez à concevoir, construire et optimiser des pipelines de données par lots robustes sur Google Cloud. Allant au-delà du traitement fondamental des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des flux de travail, essentielle pour la veille stratégique en temps opportun et le reporting critique. Obtenez une pratique pratique en utilisant Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour la mise en œuvre, et abordez des considérations cruciales pour la qualité des données, la surveillance et l'alerte pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Une connaissance de base de l'Entrepôt de données, ETL/ELT, SQL, Python, et des concepts de Google Cloud est recommandée.

Vous apprendrez le rôle essentiel d'un Ingénieur de données dans le développement et la maintenance des pipelines de données par lots, comprendrez leurs composants de base et leur cycle de vie, et analyserez les défis courants dans le traitement des données par lots. Vous identifierez également les principaux services Google Cloud qui permettent de relever ces défis.

Inclus

1 devoir2 plugins

Vous concevrez des pipelines de données par lots évolutifs pour l'ingestion et la transformation de données en grand volume. Vous optimiserez également les tâches de traitement par lots pour obtenir un débit élevé et un bon rapport coût-efficacité à l'aide de diverses techniques de gestion des ressources et de réglage des performances.

Inclus

1 devoir2 éléments d'application7 plugins

1 devoir Total 15 minutes

Quiz du module 2 : Conception et transformations 15 minutes

2 éléments d'application Total 120 minutes

Lab : Construire un pipeline de données par lots simple avec Serverless pour Apache Spark 60 minutes
Lab : Construire un pipeline de données par lots simple avec l'interface Dataflow Job Builder UI 60 minutes

7 plugins Total 105 minutes

Concevoir des pipelines de traitement par lots 15 minutes
Transformation de données à grande échelle 15 minutes
Dataflow et Serverless pour Apache Spark 15 minutes
Connexions de données et orchestration 15 minutes
Exécuter un pipeline Apache Spark 15 minutes
Optimiser les performances du pipeline de traitement par lots 15 minutes
Accéder aux laboratoires et les compléter 15 minutes

Vous développerez des règles de validation des données et une logique de nettoyage pour assurer la qualité des données au sein des pipelines batch. Vous mettrez également en œuvre des stratégies pour gérer l'évolution des schémas et effectuer la déduplication des données dans les grands ensembles de données.

Inclus

1 devoir1 élément d'application6 plugins

1 devoir Total 8 minutes

Quiz du module 3 : Validation des données et évolution du schéma 8 minutes

1 élément d'application Total 60 minutes

Lab : Valider la qualité des données dans un pipeline batch avec Serverless pour Apache Spark 60 minutes

6 plugins Total 90 minutes

Validation et nettoyage des données par lot 15 minutes
Enregistrer et analyser les erreurs 15 minutes
Évolution des schémas pour les pipelines de traitement par lots 15 minutes
Intégrité des données et duplication 15 minutes
Déduplication avec Serverless pour Apache Spark 15 minutes
Déduplication avec Dataflow 15 minutes

Vous orchestrerez des flux de travail complexes de pipeline de données par lots pour une planification et un suivi efficaces. Vous mettrez également en œuvre une gestion robuste des erreurs, une surveillance et une observabilité pour les pipelines de données par lots.

Inclus

2 devoirs1 élément d'application6 plugins

2 devoirs Total 30 minutes

Quiz du module 4 : Orchestrations et DAGs 15 minutes
Quiz du module 4 : Observabilité 15 minutes

1 élément d'application Total 90 minutes

Lab : Construire des pipelines par lots dans le Cloud Data Fusion 90 minutes

6 plugins Total 90 minutes

Orchestration pour le traitement par lots 15 minutes
Cloud Composer 15 minutes
Observabilité unifiée 15 minutes
Alertes et dépannage 15 minutes
Gestion visuelle du pipeline 15 minutes
Félicitations : Résumé du cours 15 minutes

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeur

Évaluations de l’enseignant

(251 évaluations)

Google Cloud Training

Google Cloud

2 103 Cours 3 988 598 apprenants

Offert par

Google Cloud

En savoir plus sur Cloud Computing

Google Cloud
Building Batch Pipelines in Cloud Data Fusion
Projet
Google Cloud
Build Data Lakes and Data Warehouses on Google Cloud
Cours
Google Cloud
Building Realtime Pipelines in Cloud Data Fusion
Projet
Google Cloud
Serverless Data Processing with Dataflow
Spécialisation

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018

’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020

’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021

’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Avis des étudiants

5 stars
65,98 %
4 stars
25,71 %
3 stars
6,01 %
2 stars
1,46 %
1 star
0,81 %

Affichage de 3 sur 1711

Révisé le 27 mai 2020

A great course to help understand the various wonderful options Google Cloud has to offer to move on-premise Hadoop workload to Google Cloud Platform to leverage scalability of clusters.

Révisé le 19 mai 2020

Great course teaching how to build batch pipelines through GCP technologies, and showing cool tools for data wrangling and analysis

Révisé le 16 juil. 2020

Great course learning what it is the big advantages of using GCP for data given they have big implementations and with better performance of what it is today in on premises scenarios

Voir plus d’avis

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Découvrir les diplômes

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions

Oui, vous pouvez visionner la première vidéo et le syllabus avant de vous inscrire. Vous devez acheter le cours pour accéder au contenu qui n'est pas inclus dans l'aperçu.

Si vous décidez de vous inscrire au cours avant la date de début de la session, vous aurez accès à toutes les vidéos et à toutes les lectures du cours. Vous pourrez soumettre vos travaux dès le début de la session.

Une fois que vous vous serez inscrit et que votre session aura commencé, vous aurez accès à toutes les vidéos et autres ressources, y compris les lectures et le forum de discussion du cours. Vous pourrez consulter et soumettre des évaluations pratiques, et effectuer les devoirs notés requis pour obtenir une note et un certificat de cours.