In diesem 2-stündigen geführten Projekt, "Datenmanagement mit Databricks: Big Data mit Delta Lakes" werden Sie mit dem Kursleiter zusammenarbeiten, um die folgenden Ziele zu erreichen: 1-Erstellen Sie Delta-Tabellen in Databricks und schreiben Sie Daten in sie. Sammeln Sie praktische Erfahrungen beim Einrichten und Verwalten von Delta-Tabellen, einem leistungsstarken Datenspeicherformat, das für Leistung und Reliabilität optimiert ist. 2-Transformieren Sie eine Delta-Tabelle mit Python und nutzen Sie SQL, um die Daten für die Erstellung eines umfassenden Dashboards abzufragen. Lernen Sie, wie Sie Python-basierte Transformationen auf Delta-Tabellen anwenden und SQL-Abfragen nutzen, um die notwendigen Erkenntnisse für die Erstellung eines Dashboards für die Lieferkette zu gewinnen. 3-Nutzen Sie die Funktionen von Delta Lake für die Zusammenführung und Versionskontrolle, um Delta-Tabellen effizient zu aktualisieren. Lernen Sie die Möglichkeiten der Merge-Operation von Delta Lake kennen, um Upserts und andere Datenaktualisierungen effizient durchzuführen. Darüber hinaus lernen Sie, wie Sie die in Delta Lake integrierte Versionskontrolle nutzen können, um frühere Versionen von Delta Tables zu verfolgen und bei Bedarf darauf zuzugreifen. Im Rahmen eines realen Geschäftsszenarios werden Sie Databricks verwenden, um eine End-to-End-Datenpipeline zu erstellen, die verschiedene JSON-Datendateien integriert und Transformationen anwendet, um letztendlich wertvolle Erkenntnisse und analysefähige Daten zu liefern. Dieses geführte Projekt auf mittlerem Niveau richtet sich an Dateningenieure, die mit Databricks Datenpipelines für ihre Unternehmen erstellen. Um bei diesem geführten Projekt erfolgreich zu sein, benötigen Sie Vorkenntnisse im Schreiben von Python-Skripten, einschließlich des Imports von Bibliotheken, der Einrichtung von Variablen, der Bearbeitung von Datenrahmen und der Verwendung von Funktionen. Außerdem müssen Sie mit dem Schreiben von SQL-Abfragen wie dem Aggregieren, Filtern und Verbinden von Tabellen vertraut sein.