Dans ce projet guidé de 2 heures, "Gestion des données avec Databricks : Big Data with Delta Lakes", vous collaborerez avec l'instructeur pour atteindre les objectifs suivants : 1-Créer des tables Delta dans Databricks et y écrire des données. Acquérir une expérience pratique de la configuration et de la gestion des tableaux Delta, un puissant format de stockage de données optimisé pour la performance et la fiabilité. 2-Transformer un tableau Delta à l'aide de Python et tirer parti de SQL pour interroger les données en vue de créer un tableau de bord complet. Apprenez à appliquer des transformations basées sur Python aux tableaux Delta et à utiliser des requêtes SQL pour extraire les informations nécessaires à la création d'un tableau de bord de la chaîne d'approvisionnement. 3-Utiliser les opérations de fusion et les capacités de contrôle des versions de Delta Lake pour mettre à jour efficacement les tableaux Delta. Explorez les capacités de l'opération de fusion de Delta Lake pour effectuer des insertions et d'autres mises à jour de données de manière efficace. En outre, vous apprendrez à tirer parti du contrôle de version intégré de Delta Lake pour suivre les versions précédentes de Delta Tables et y accéder au besoin. Dans le cadre d'un scénario d'affaires réel, vous utiliserez Databricks pour construire un pipeline de données de bout en bout qui intègre divers fichiers de données JSON et applique des transformations, pour finalement fournir des informations précieuses et des données prêtes à l'analyse. Ce projet guidé de niveau intermédiaire est conçu pour les ingénieurs de données qui utilisent Databricks pour leur entreprise. Pour réussir ce projet guidé, vous devez avoir une connaissance préalable de l'écriture de scripts Python, y compris l'importation de bibliothèques, la configuration de variables, la manipulation de cadres de données et l'utilisation de fonctions. Vous devrez également être familier avec l'écriture de requêtes SQL telles que l'agrégation, le filtrage et la jonction de tables.