L'un des principaux avantages d'Azure Databricks est sa capacité à s'intégrer à de nombreux autres environnements de données pour extraire des données par le biais d'un processus ETL ou ELT. Dans le cours du module, nous examinerons chacun des E, L et T pour apprendre comment Azure Databricks peut nous faciliter l'accès à une solution en nuage.

Le traitement des données volumineuses en temps réel est désormais une nécessité opérationnelle pour de nombreuses entreprises. Azure Stream Analytics est l'offre d'analyse en temps réel sans serveur de Microsoft pour le traitement d'événements complexes. Dans cette section, nous examinons comment les clients obtiennent des informations précieuses et gagnent un avantage concurrentiel en exploitant la puissance du big data.

Une usine de données peut avoir un ou plusieurs pipelines. Un pipeline est un regroupement logique d'activités qui, ensemble, exécutent une tâche. Les activités d'un pipeline définissent les actions à effectuer sur vos données. Avant de créer un jeu de données, vous devez créer un service lié pour relier votre magasin de données à l'usine de données. Cette section traite des services liés et des ensembles de données dans Azure Blob Storage.

Azure Data Factory est un service d'orchestration de données entièrement géré et basé sur le cloud qui permet de déplacer et de transformer les données. Dans cette section, nous explorons les déclencheurs de planification pour Azure Data Factory afin d'automatiser l'exécution de votre pipeline.

Dans les scénarios de flux temporel, l'exécution d'opérations sur les données contenues dans les fenêtres temporelles est un schéma courant. Stream Analytics prend en charge les fonctions de fenêtrage en natif, ce qui permet aux développeurs de créer des tâches de traitement de flux complexes avec un minimum d'effort. Dans cette section, nous étudions les fonctions de fenêtrage liées à l'analyse en flux.

Cette section explique comment analyser les données d'appels téléphoniques à l'aide d'Azure Stream Analytics. Les données d'appels téléphoniques, générées par une application client, contiennent des appels frauduleux, qui seront filtrés par la tâche Stream Analytics.

Les entrepôts de données SMP traditionnels utilisent un processus d'extraction, de transformation et de chargement (ETL) pour charger les données. Azure SQL Data Warehouse est une architecture de traitement massivement parallèle (MPP) qui tire parti de l'évolutivité et de la flexibilité des ressources de calcul et de stockage. L'utilisation d'un processus d'extraction, de chargement et de transformation (ELT) permet de tirer parti de l'architecture MPP et d'éliminer les ressources nécessaires à la transformation des données avant leur chargement.