Les données peuvent être interprétées comme des vecteurs. Les vecteurs nous permettent de parler de concepts géométriques, tels que les longueurs, les distances et les angles pour caractériser la similarité entre les vecteurs. Cela deviendra important plus tard dans le cours lorsque nous aborderons l'ACP. Dans ce module, nous introduirons et mettrons en pratique le concept de produit intérieur. Les produits intérieurs nous permettent de parler de concepts géométriques dans les espaces vectoriels. Plus précisément, nous commencerons par le produit de points (que nous connaissons peut-être depuis l'école) en tant que cas particulier de produit intérieur, puis nous évoluerons vers un concept plus général de produit intérieur, qui joue un rôle essentiel dans certains domaines de l'apprentissage automatique, tels que les machines à noyaux (cela inclut les machines à vecteurs de support et les processus gaussiens). Ce module propose de nombreux exercices pour mettre en pratique et comprendre le concept de produit intérieur.

Dans ce module, nous étudierons les projections orthogonales de vecteurs, qui vivent dans un espace vectoriel de haute dimension, sur des sous-espaces de dimension inférieure. Cela jouera un rôle important dans le module suivant, lorsque nous déduirons l'ACP. Nous commencerons par une motivation géométrique de ce qu'est une projection orthogonale et nous nous frayerons un chemin à travers la dérivation correspondante. Nous terminerons par une équation unique qui nous permet de projeter n'importe quel vecteur sur un sous-espace de dimension inférieure. Cependant, nous comprendrons également comment cette équation a été élaborée. Comme dans les autres modules, nous aurons à la fois une pratique papier-crayon et un petit exemple de programmation avec un notebook jupyter.

Nous pouvons considérer la réduction de la dimensionnalité comme un moyen de compresser les données avec une certaine perte, comme dans le cas des fichiers jpg ou mp3. L'analyse en composantes principales (ACP) est l'une des techniques de réduction de la dimensionnalité les plus fondamentales utilisées dans l'apprentissage automatique. Dans ce module, nous utilisons les résultats des trois premiers modules de ce cours et dérivons l'ACP d'un point de vue géométrique. Dans ce cours, ce module est le plus difficile, et nous passerons par une dérivation explicite de l'ACP ainsi que par des exercices de codage qui feront de nous des utilisateurs compétents de l'ACP.