Découvrir les principaux concepts d'Apache Beam et comment les appliquer pour écrire vos propres pipelines de traitement des données

Dans ce module, vous allez apprendre à traiter des données en flux continu avec Dataflow. Pour cela, vous devez maîtriser trois concepts principaux : comment regrouper les données dans des fenêtres, l'importance des filigranes pour savoir quand la fenêtre est prête à produire des résultats, et comment contrôler quand et combien de fois la fenêtre émettra des résultats.

Dans ce module, vous allez découvrir ce qui fait qu'une source ou un récepteur est considéré comme tel dans Dataflow. Le module présentera des exemples de TextIO, FileIO, BigQueryIO, PubsubIO, KafkaIO, BigtableIO, AvroIO et d'argument DoFn fractionnable. Le module présentera également certaines fonctionnalités utiles associées à chaque E/S.

Ce module présente les schémas, qui permettent aux développeurs de représenter des données structurées dans leurs pipelines Beam.

Ce module aborde les états et les minuteurs, deux fonctionnalités puissantes que vous pouvez utiliser dans votre argument DoFn pour implémenter des transformations avec état.

Ce module aborde les bonnes pratiques et les modèles courants qui permettent de maximiser les performances de vos pipelines Dataflow.

Ce module présente deux nouvelles API pour représenter votre logique métier dans Beam : SQL et DataFrames.

Ce module présente les notebooks Beam, une interface permettant aux développeurs Python de se familiariser avec le SDK Beam et de développer leurs pipelines de manière itérative dans un environnement de notebook Jupyter.

Ce module résume le cours.