Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.
Traitement des données sans serveur avec Dataflow : cours 2
Économisez sur les compétences qui vous font briller avec 40 % de réduction sur 3 mois de Coursera Plus. Économisez maintenant
Traitement des données sans serveur avec Dataflow : cours 2
Instructeur : Google Cloud Training
Inclus avec
Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
niveau Avancées
Conçu pour les professionnels de ce secteur
2 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme
Ce que vous apprendrez
Passer en revue les principaux concepts d'Apache Beam abordés dans le cours "Data Engineering on Google Cloud"
Passer en revue les concepts de base du traitement par flux abordés dans le cours "Ingénierie des données"
Sélectionnez et ajustez les E/S de votre choix pour votre pipeline Dataflow
Utilisez des schémas pour simplifier votre code Beam et améliorer les performances de votre pipeline
Compétences que vous acquerrez
- Catégorie : Dataflow
- Catégorie : Google Cloud Platform
- Catégorie : SQL
- Catégorie : Performance Tuning
- Catégorie : Data Pipelines
- Catégorie : Real Time Data
- Catégorie : File I/O
- Catégorie : Data Processing
- Catégorie : Data Import/Export
- Catégorie : Data Transformation
Outils que vous découvrirez
- Catégorie : Application Programming Interface (API)
- Catégorie : Apache Kafka
- Catégorie : Jupyter
Détails à connaître
Certificat partageable
Ajouter à votre profil LinkedIn
Évaluations
8 devoirs
Enseigné en Français
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Il y a 10 modules dans ce cours
Instructeur
Offert par
En savoir plus sur Software Development
Statut : Essai gratuit
Statut : Essai gratuit
Statut : Essai gratuit
Statut : Essai gratuitGoogle Cloud
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Foire Aux Questions
Plus de questions
Aide financière disponible,