Die Bearbeitung von großen Datenmengen, die über einen Cluster verteilt sind, mit funktionalen Konzepten ist in der Industrie weit verbreitet und stellt wohl eine der ersten weit verbreiteten industriellen Anwendungen funktionaler Ideen dar. Dies zeigt sich an der Popularität von MapReduce und Hadoop und seit kurzem auch von Apache Spark, einem schnellen, in Scala geschriebenen Framework für verteilte In-Memory-Sammlungen. In diesem Kurs werden wir sehen, wie das Paradigma der Datenparallelität auf den verteilten Fall ausgeweitet werden kann, wobei Spark durchgehend verwendet wird. Wir werden das Programmiermodell von Spark im Detail behandeln und dabei darauf achten, wie und wann es sich von bekannten Programmiermodellen wie parallelen Sammlungen mit gemeinsamem Speicher oder sequenziellen Scala-Sammlungen unterscheidet. Anhand von praktischen Beispielen in Spark und Scala lernen wir, wann wichtige Verteilungsfragen wie Latenz und Netzwerkkommunikation berücksichtigt werden sollten und wie sie für eine verbesserte Leistung effektiv angegangen werden können. Lernergebnisse. Am Ende dieses Kurses werden Sie in der Lage sein: - Daten aus persistenten Speichern zu lesen und in Apache Spark zu laden, - Daten mit Spark und Scala zu manipulieren, - Algorithmen für die Datenanalyse in einem funktionalen Stil auszudrücken, - zu erkennen, wie man Shuffles und Neuberechnungen in Spark vermeidet, Empfohlener Hintergrund: Sie sollten mindestens ein Jahr Programmiererfahrung haben. Ideal sind Java- oder C#-Kenntnisse, aber auch Erfahrungen mit anderen Sprachen wie C/C++, Python, Javascript oder Ruby sind ausreichend. Sie sollten mit der Kommandozeile etwas vertraut sein. Dieser Kurs sollte nach dem Kurs Parallele Programmierung: https://hua.dididi.sbs/learn/parprog1 belegt werden.