Daten können als Vektoren interpretiert werden. Vektoren ermöglichen es uns, über geometrische Konzepte wie Längen, Abstände und Winkel zu sprechen, um die Ähnlichkeit zwischen Vektoren zu beschreiben. Dies wird im weiteren Verlauf des Kurses wichtig werden, wenn wir die PCA besprechen. In diesem Modul werden wir das Konzept des inneren Produkts einführen und üben. Innere Produkte ermöglichen es uns, über geometrische Konzepte in Vektorräumen zu sprechen. Genauer gesagt beginnen wir mit dem Punktprodukt (das wir vielleicht noch aus der Schule kennen) als Spezialfall eines inneren Produkts und gehen dann zu einem allgemeineren Konzept eines inneren Produkts über, das in einigen Bereichen des maschinellen Lernens eine wesentliche Rolle spielt, z.B. bei Kernelmaschinen (dazu gehören Support Vector Machines und Gaußsche Prozesse). In diesem Modul gibt es viele Übungen, um das Konzept der inneren Produkte zu üben und zu verstehen.

In diesem Modul befassen wir uns mit orthogonalen Projektionen von Vektoren, die sich in einem hochdimensionalen Vektorraum befinden, auf niederdimensionale Unterräume. Dies wird im nächsten Modul eine wichtige Rolle spielen, wenn wir die PCA ableiten. Wir beginnen mit einer geometrischen Begründung, was eine orthogonale Projektion ist und arbeiten uns durch die entsprechende Ableitung. Am Ende werden wir eine einzige Gleichung haben, mit der wir jeden beliebigen Vektor auf einen niederdimensionalen Unterraum projizieren können. Wir werden aber auch verstehen, wie diese Gleichung zustande gekommen ist. Wie in den anderen Modulen werden wir sowohl mit Stift und Papier üben als auch ein kleines Programmierbeispiel mit einem Jupyter-Notebook durchführen.

Wir können uns die Dimensionalitätsreduktion als eine Möglichkeit vorstellen, Daten mit einem gewissen Verlust zu komprimieren, ähnlich wie bei jpg oder mp3. Die Hauptkomponentenanalyse (PCA) ist eine der grundlegendsten Techniken zur Dimensionalitätsreduktion, die beim maschinellen Lernen eingesetzt wird. In diesem Modul verwenden wir die Ergebnisse aus den ersten drei Modulen dieses Kurses und leiten die PCA von einem geometrischen Standpunkt aus ab. Innerhalb dieses Kurses ist dieses Modul das anspruchsvollste. Wir werden eine explizite Herleitung der PCA sowie einige Kodierungsübungen durchführen, die uns zu geübten Anwendern der PCA machen werden.