Azure Databricks prend en charge les fonctions quotidiennes de traitement des données, telles que les lectures, les écritures et les requêtes. Dans ce module, vous travaillerez avec de grandes quantités de données provenant de sources multiples dans différents formats bruts. Vous apprendrez également à utiliser la classe de colonne DataFrame Azure Databricks pour appliquer des transformations au niveau des colonnes, telles que des tris, des filtres et des agrégations. Vous utiliserez également les opérations avancées des fonctions DataFrame pour manipuler les données, appliquer des agrégats et effectuer des opérations sur la date et l'heure dans Azure Databricks.

Azure Databricks prend en charge une gamme de fonctions SQL intégrées, mais vous devez parfois écrire une fonction personnalisée, connue sous le nom de User-Defined Function (UDF). Dans ce module, vous apprendrez à enregistrer et à invoquer des UDF. Vous apprendrez également à utiliser Delta Lake pour créer, ajouter et réinsérer des données dans des tables Apache Spark, en tirant parti de la fiabilité et des optimisations intégrées.

Dans ce module, vous apprendrez à utiliser le package d'apprentissage automatique de PySpark pour construire les composants clés des flux de travail d'apprentissage automatique qui comprennent l'analyse exploratoire des données, l'entraînement des modèles et l'évaluation des modèles. Vous apprendrez également à construire des pipelines pour les tâches courantes de caractérisation des données.

Dans ce module, vous apprendrez à utiliser MLflow pour suivre les expériences d'apprentissage automatique et à utiliser les modules de la bibliothèque d'apprentissage automatique de Spark pour l'ajustement des hyperparamètres et la sélection des modèles.

Dans ce module, vous apprendrez à utiliser le framework Horovod d'Uber ainsi que la bibliothèque Petastorm pour exécuter des tâches d'apprentissage profond distribuées sur Spark en utilisant des ensembles de données d'apprentissage au format Apache Parquet. Vous apprendrez également à utiliser MLflow et le service Azure Machine Learning pour enregistrer, empaqueter et déployer un modèle entraîné dans Azure Container Instance et Azure Kubernetes Service en tant que service web de notation.