中Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.
您将学到什么
Passer en revue les principaux concepts d'Apache Beam abordés dans le cours "Data Engineering on Google Cloud"
Passer en revue les concepts de base du traitement par flux abordés dans le cours "Ingénierie des données"
Sélectionnez et ajustez les E/S de votre choix pour votre pipeline Dataflow
Utilisez des schémas pour simplifier votre code Beam et améliorer les performances de votre pipeline
您将获得的技能
要了解的详细信息
添加到您的领英档案
September 2025
8 项作业
了解顶级公司的员工如何掌握热门技能
该课程共有10个模块
Ce module vous présente le cours et son plan.
涵盖的内容
1个视频
Découvrir les principaux concepts d'Apache Beam et comment les appliquer pour écrire vos propres pipelines de traitement des données
涵盖的内容
3个视频1篇阅读材料1个作业2个应用程序项目
Dans ce module, vous allez apprendre à traiter des données en flux continu avec Dataflow. Pour cela, vous devez maîtriser trois concepts principaux : comment regrouper les données dans des fenêtres, l'importance des filigranes pour savoir quand la fenêtre est prête à produire des résultats, et comment contrôler quand et combien de fois la fenêtre émettra des résultats.
涵盖的内容
3个视频1篇阅读材料1个作业4个应用程序项目
Dans ce module, vous allez découvrir ce qui fait qu'une source ou un récepteur est considéré comme tel dans Dataflow. Le module présentera des exemples de TextIO, FileIO, BigQueryIO, PubsubIO, KafkaIO, BigtableIO, AvroIO et d'argument DoFn fractionnable. Le module présentera également certaines fonctionnalités utiles associées à chaque E/S.
涵盖的内容
8个视频1篇阅读材料1个作业
Ce module présente les schémas, qui permettent aux développeurs de représenter des données structurées dans leurs pipelines Beam.
涵盖的内容
2个视频1篇阅读材料1个作业2个应用程序项目
Ce module aborde les états et les minuteurs, deux fonctionnalités puissantes que vous pouvez utiliser dans votre argument DoFn pour implémenter des transformations avec état.
涵盖的内容
3个视频1篇阅读材料1个作业
Ce module aborde les bonnes pratiques et les modèles courants qui permettent de maximiser les performances de vos pipelines Dataflow.
涵盖的内容
7个视频1篇阅读材料1个作业2个应用程序项目
Ce module présente deux nouvelles API pour représenter votre logique métier dans Beam : SQL et DataFrames.
涵盖的内容
3个视频1篇阅读材料1个作业1个应用程序项目
Ce module présente les notebooks Beam, une interface permettant aux développeurs Python de se familiariser avec le SDK Beam et de développer leurs pipelines de manière itérative dans un environnement de notebook Jupyter.
涵盖的内容
1个视频1篇阅读材料1个作业
Ce module résume le cours.
涵盖的内容
1个视频
位教师
提供方
从 Software Development 浏览更多内容
- 状态：免费试用
人们为什么选择 Coursera 来帮助自己实现职业发展
常见问题
Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.
If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.
Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.
更多问题
提供助学金，