Avec tous les smartphones et ordinateurs dotés de plusieurs processeurs, l'utilisation d'idées fonctionnelles pour faciliter la programmation parallèle est de plus en plus répandue. Dans ce cours, vous apprendrez les principes fondamentaux de la programmation parallèle, du parallélisme des tâches au parallélisme des données. En particulier, vous verrez comment de nombreuses idées familières de la programmation fonctionnelle s'adaptent parfaitement au paradigme du parallélisme de données. Nous commencerons par les rouages de la parallélisation efficace des opérations de collections familières, et nous construirons jusqu'à parallel collections, une bibliothèque de collections de données parallèles prête à la production, disponible dans la bibliothèque standard de Scala. Tout au long du cours, nous appliquerons ces concepts à travers plusieurs exemples pratiques qui analysent des données du monde réel, tels que des algorithmes populaires comme le clustering k-means. Objectifs pédagogiques. A la fin de ce cours, vous serez capable de : - raisonner sur les programmes parallèles de tâches et de données, - exprimer des algorithmes communs dans un style fonctionnel et les résoudre en parallèle, - microbenchmarker de manière compétente le code parallèle, - écrire des programmes qui utilisent efficacement les collections parallèles pour atteindre la performance : Vous devez avoir au moins un an d'expérience en programmation. La maîtrise de Java ou de C# est idéale, mais une expérience dans d'autres langages tels que C/C++, Python, Javascript ou Ruby est également suffisante. Vous devez avoir une certaine familiarité avec l'utilisation de la ligne de commande. Ce cours est destiné à être suivi après Functional Program Design in Scala : https://hua.dididi.sbs/learn/progfun2.

La manipulation de données volumineuses distribuées sur un cluster à l'aide de concepts fonctionnels est très répandue dans l'industrie et constitue sans doute l'une des premières utilisations industrielles généralisées des idées fonctionnelles. La popularité de MapReduce et de Hadoop, et plus récemment d'Apache Spark, un cadre de collecte distribuée rapide et en mémoire écrit en Scala, en est la preuve. Dans ce cours, nous verrons comment le paradigme des données parallèles peut être étendu au cas distribué, en utilisant Spark. Nous couvrirons le modèle de programmation de Spark en détail, en prenant soin de comprendre comment et quand il diffère des modèles de programmation familiers, comme les collections parallèles en mémoire partagée ou les collections séquentielles en Scala. A travers des exemples pratiques en Spark et Scala, nous apprendrons quand les questions importantes liées à la distribution comme la latence et la communication réseau doivent être prises en compte et comment elles peuvent être traitées efficacement pour améliorer les performances. Objectifs d'apprentissage. A la fin de ce cours, vous serez capable de : - lire des données à partir d'un stockage persistant et les charger dans Apache Spark, - manipuler des données avec Spark et Scala, - exprimer des algorithmes pour l'analyse des données dans un style fonctionnel, - reconnaître comment éviter les mélanges et les recalculs dans Spark, Contexte recommandé : Vous devez avoir au moins un an d'expérience en programmation. La maîtrise de Java ou de C# est idéale, mais une expérience dans d'autres langages tels que C/C++, Python, Javascript ou Ruby est également suffisante. Vous devez avoir une certaine familiarité avec l'utilisation de la ligne de commande. Ce cours est destiné à être suivi après le cours Parallel Programming : https://hua.dididi.sbs/learn/parprog1.

Dans le cadre du projet de fin d'études, vous mettrez en pratique les compétences que vous avez acquises en créant une application à grande échelle utilisant des données réelles. Vous mettrez en œuvre une application complète traitant plusieurs gigaoctets de données. Le développement d'une telle application impliquera : - la transformation des données fournies par les stations météorologiques en informations significatives comme, par exemple, la température moyenne de chaque point du globe au cours des dix dernières années ; - ensuite, la création d'images à partir de ces informations en utilisant des techniques d'interpolation spatiale et linéaire ; - enfin, la mise en œuvre de la façon dont l'interface utilisateur réagira aux actions de l'utilisateur.