En nous appuyant sur les bases du module précédent, nous généralisons maintenant nos outils de calcul pour traiter les systèmes multivariables. Cela signifie que nous pouvons prendre une fonction avec plusieurs entrées et déterminer l'influence de chacune d'entre elles séparément. Il n'est pas rare qu'une méthode d'apprentissage automatique nécessite l'analyse d'une fonction avec des milliers d'entrées. Nous introduirons donc également les structures d'algèbre linéaire nécessaires pour stocker les résultats de notre analyse de calcul à plusieurs variables de manière ordonnée.

Après avoir constaté que le calcul à plusieurs variables n'est pas plus compliqué que le calcul à une variable, nous allons maintenant nous concentrer sur les applications de la règle de la chaîne. Les réseaux neuronaux sont l'une des structures conceptuelles les plus populaires et les plus réussies dans le domaine de l'apprentissage automatique. Ils sont construits à partir d'un réseau de neurones connectés et s'inspirent de la structure des cerveaux biologiques. Le comportement de chaque neurone est influencé par un ensemble de paramètres de contrôle, dont chacun doit être optimisé pour s'adapter au mieux aux données. La règle de la chaîne multivariée peut être utilisée pour calculer l'influence de chaque paramètre des réseaux, ce qui permet de les mettre à jour pendant la formation.

La série de Taylor est une méthode permettant de réexprimer les fonctions sous forme de séries polynomiales. Cette approche est à la base de l'utilisation d'approximations linéaires simples pour des fonctions compliquées. Dans ce module, nous déduirons l'expression formelle de la série de Taylor univariée et discuterons de certaines conséquences importantes de ce résultat pour l'apprentissage automatique. Enfin, nous aborderons le cas multivarié et verrons comment le jacobien et le hessien entrent en jeu.

Si nous voulons trouver les points minimum et maximum d'une fonction, nous pouvons utiliser le calcul à plusieurs variables pour y parvenir, par exemple pour optimiser les paramètres (l'espace) d'une fonction afin de l'adapter à certaines données. Nous commencerons par le faire en une dimension et utiliserons le gradient pour estimer où se trouvent les points zéro de cette fonction, puis nous itérerons avec la méthode de Newton-Raphson. Nous étendrons ensuite l'idée à plusieurs dimensions en trouvant le vecteur du gradient, Grad, qui est le vecteur du jacobien. Cela nous permettra de trouver notre chemin vers les minima et les maxima dans ce que l'on appelle la méthode de descente du gradient. Nous utiliserons ensuite Grad pour trouver les minima et maxima le long d'une contrainte dans l'espace, ce qui est la méthode des multiplicateurs de Lagrange.

Afin d'optimiser les paramètres d'ajustement d'une fonction d'ajustement pour obtenir le meilleur ajustement possible pour certaines données, nous avons besoin d'un moyen de définir la qualité de notre ajustement. Cette qualité d'ajustement s'appelle le chi-deux, que nous appliquerons d'abord à l'ajustement d'une ligne droite (régression linéaire). Nous verrons ensuite comment optimiser notre fonction d'ajustement à l'aide du chi-deux dans le cas général en utilisant la méthode de descente du gradient. Enfin, nous verrons comment faire cela facilement en Python en quelques lignes de code, ce qui clôturera le cours.