Ce cours vous permettra d'acquérir les compétences nécessaires pour mettre à l'échelle les tâches de science des données et d'apprentissage machine (ML) sur des ensembles de Big Data à l'aide d'Apache Spark. La plupart des travaux d'apprentissage automatique dans le monde réel impliquent de très grands ensembles de données qui dépassent les limites du CPU, de la mémoire et du stockage d'un seul ordinateur.

Apache Spark est un framework open source qui exploite l'informatique en grappe et le stockage distribué pour traiter des ensembles de données extrêmement volumineux de manière efficace et rentable. Après avoir suivi ce cours, vous serez en mesure : - d'acquérir une compréhension pratique d'Apache Spark, et de l'appliquer pour résoudre des problèmes d'apprentissage automatique impliquant à la fois des données de petite et de grande taille - de comprendre comment le code parallèle est écrit, capable de fonctionner sur des milliers de CPU. - utiliser des clusters de calcul à grande échelle pour appliquer des algorithmes d'apprentissage automatique sur des pétaoctets de données à l'aide d'Apache SparkML Pipelines. - éliminer les erreurs hors mémoire générées par les frameworks traditionnels d'apprentissage automatique lorsque les données ne tiennent pas dans la mémoire principale d'un ordinateur - tester des milliers de modèles d'apprentissage automatique différents en parallèle pour trouver celui qui est le plus performant - une technique utilisée par de nombreux Kagglers qui ont réussi - (en option) exécuter des requêtes SQL sur de très grands ensembles de données en utilisant Apache SparkSQL et l'API Apache Spark DataFrame. Inscrivez-vous dès maintenant pour apprendre les techniques d'apprentissage automatique pour travailler avec les Big Data qui ont été appliquées avec succès par des entreprises comme Alibaba, Apple, Amazon, Baidu, eBay, IBM, NASA, Samsung, SAP, TripAdvisor, Yahoo ! Zalando et bien d'autres. NOTE : Vous vous entraînerez à exécuter des tâches d'apprentissage automatique sur un cluster Apache Spark fourni gratuitement par IBM pendant le cours, que vous pourrez continuer à utiliser par la suite. Prérequis : - programmation python de base - apprentissage automatique de base (des vidéos d'introduction facultatives sont également fournies dans ce cours) - compétences SQL de base pour le contenu facultatif Les cours suivants sont recommandés avant de suivre ce cours (à moins que vous ne possédiez déjà les compétences) https://hua.dididi.sbs/learn/python-for-applied-data-science ou similaire https://hua.dididi.sbs/learn/machine-learning-with-python ou similaire https://hua.dididi.sbs/learn/sql-data-science pour les conférences facultatives