Dans ce module, vous plongerez dans Talend Studio, une puissante plateforme d'intégration de données basée sur Eclipse qui transforme les opérations ETL complexes en flux de travail visuels intuitifs. En explorant l'interface drag-and-drop de Talend, vous apprendrez à naviguer dans les composants centraux de la plateforme. Vous maîtriserez les opérations ETL fondamentales en étudiant des composants essentiels tels que tMap pour les transformations de données et les jointures complexes, tJoin pour la liaison directe des données, et divers composants d'entrée/sortie pour la connexion aux bases de données, aux fichiers et aux API. A la fin du module, vous comprendrez comment Talend génère automatiquement du code Java exécutable à partir de conceptions visuelles, vous permettant de créer des solutions d'intégration de données évolutives et prêtes pour la production, capables de gérer à la fois des scénarios de traitement par lots et de données en temps réel dans divers environnements technologiques.

Dans ce module, nous passons de l'Entrepôt de données sur site à l'Ingénieur de données. Si l'ingénierie des données trouve ses racines dans l'Entrepôt de données, elle englobe bien plus que cela. Nous explorerons les principaux catalyseurs de cette évolution, en particulier le cloud computing et DevOps. Vous découvrirez les avantages du développement en nuage, notamment l'amélioration de l'évolutivité, de la rentabilité et de la flexibilité des opérations de données. Nous plongerons également dans la façon dont les composants traditionnels de l'infrastructure IT, tels que la sécurité, le réseau et les ressources de calcul, sont redéfinis dans les environnements cloud à l'aide d'AWS. En outre, vous acquerrez une compréhension de DevOps dans le cloud, en vous concentrant sur l'utilisation de machines virtuelles et de conteneurs pour rationaliser l'intégration et le déploiement continus. Nous couvrirons les pratiques DevOps clés telles que l'infrastructure en tant que code (IaC), les pipelines CI/CD et les tests automatisés, en mettant l'accent sur leur rôle pour assurer la cohérence, des cycles de développement plus rapides et des applications sécurisées. Vous explorerez ensuite ce qu'implique l'ingénierie des données et les compétences requises pour devenir ingénieur des données. Enfin, nous présenterons le concept du cycle de vie de l'ingénierie des données et ses différentes phases, en nous concentrant sur les deux premières : La génération et le stockage des données.

Dans ce module, nous allons explorer les deux prochaines phases du cycle de vie des données : L'ingestion et la transformation. L'ingestion des données fait référence au processus de déplacement des données des systèmes sources vers le stockage, les rendant ainsi disponibles pour le traitement et l'analyse. Au cours de votre lecture, vous examinerez les principaux modèles d'ingestion, notamment l'ingestion par lots ou en continu, les méthodes synchrones ou asynchrones, ainsi que les approches push, pull et hybrides. Vous explorerez également des considérations techniques essentielles telles que l'évolutivité, la fiabilité et la gestion de la qualité des données, ainsi que les défis posés par les changements de schéma. La lecture présentera diverses technologies permettant l'ingestion de données, telles que JDBC/ODBC, Change Data Capture (CDC), les API et les plates-formes de flux d'événements comme Kafka. Nous nous concentrons ensuite sur la phase de transformation du cycle de vie, en explorant différents types de transformations qui intègrent une logique métier complexe dans les pipelines de données. À la fin du module, nous nous concentrerons sur l'architecture des données et la mise en œuvre de bons principes d'architecture pour construire des pipelines de données évolutifs et fiables.

Dans ce module, nous allons explorer les caractéristiques des données et la façon dont elles influencent les décisions d'infrastructure. Dans le monde actuel axé sur les données, il est essentiel de comprendre les propriétés de vos données pour concevoir des pipelines de données robustes. Nous passerons en revue des caractéristiques clés telles que le volume, qui fait référence à la taille des ensembles de données, et la vélocité, qui concerne la fréquence à laquelle de nouvelles données sont générées. Nous nous pencherons également sur la variété, qui se concentre sur les formats et les sources de données, et sur la véracité, qui met l'accent sur l'exactitude et la fiabilité des données. L'objectif final est de découvrir la valeur des données grâce à une analyse perspicace. Au fur et à mesure que nous approfondirons la conception des pipelines, vous apprendrez comment ces caractéristiques influencent les décisions clés, telles que le choix des outils de stockage, de traitement et d'analytique. Nous couvrirons également les services AWS essentiels tels qu'Amazon S3, Glue et Athena, en explorant la façon dont ils prennent en charge l'ingénierie des données évolutive et flexible. À la fin de ce module, vous aurez une compréhension complète de la façon de construire des solutions de données efficaces pour répondre aux besoins techniques et commerciaux.

Bienvenue à la dernière étape du cycle de vie de l'ingénierie des données : servir les données. Dans ce module, nous nous concentrerons sur la façon de servir efficacement les données pour l'analytique, l'apprentissage automatique (ML) et l'ETL inverse afin de garantir que les produits de données que vous concevez sont fiables, exploitables et fiables pour les parties prenantes. Les sujets clés comprennent l'établissement de SLA, l'identification des cas d'utilisation, l'évolution des produits de données avec le retour d'information, la normalisation des définitions de données et l'exploration des méthodes de livraison telles que les échanges de fichiers, les bases de données et les systèmes de streaming. Nous aborderons également l'utilisation de l'ETL inversé pour améliorer les processus d'entreprise et discuterons de l'importance du contexte pour choisir le meilleur type de visualisation et les meilleurs outils. Nous nous pencherons ensuite sur les KPI et les métriques et sur la manière de les classer, y compris sur la manière d'identifier des KPI robustes en fonction du contexte de l'entreprise. Enfin, nous nous concentrerons sur la création de tableaux de bord intuitifs en choisissant les bonnes analyses, visualisations et mesures à présenter en fonction du contexte de l'entreprise et du public concerné. À la fin de ce module, vous comprendrez comment concevoir et servir des solutions de données qui conduisent à des actions significatives et qui ont la confiance des utilisateurs finaux.