Aufbauend auf den Grundlagen des vorigen Moduls verallgemeinern wir nun unsere Kalkulationswerkzeuge, um multivariable Systeme zu behandeln. Das bedeutet, dass wir eine Funktion mit mehreren Eingaben nehmen und den Einfluss jeder dieser Eingaben separat bestimmen können. Es wäre nicht ungewöhnlich, wenn eine Methode des maschinellen Lernens die Analyse einer Funktion mit Tausenden von Eingaben erfordern würde. Daher werden wir auch die Strukturen der linearen Algebra einführen, die für die geordnete Speicherung der Ergebnisse unserer multivariaten Kalkülanalyse erforderlich sind.

Nachdem wir gesehen haben, dass die multivariate Kalkulation nicht wirklich komplizierter ist als der univariate Fall, konzentrieren wir uns nun auf Anwendungen der Kettenregel. Neuronale Netzwerke sind eine der beliebtesten und erfolgreichsten konzeptionellen Strukturen im maschinellen Lernen. Sie bestehen aus einem zusammenhängenden Netz von Neuronen und sind von der Struktur biologischer Gehirne inspiriert. Das Verhalten jedes Neurons wird durch eine Reihe von Kontrollparametern beeinflusst, von denen jeder einzelne optimiert werden muss, um den Daten bestmöglich zu entsprechen. Mit der multivariaten Kettenregel kann der Einfluss jedes Parameters der Netzwerke berechnet werden, so dass sie während des Trainings aktualisiert werden können.

Die Taylor-Reihe ist eine Methode, um Funktionen als Polynomreihen auszudrücken. Dieser Ansatz ist der Grund für die Verwendung einfacher linearer Approximationen für komplizierte Funktionen. In diesem Modul werden wir den formalen Ausdruck für die univariate Taylor-Reihe herleiten und einige wichtige Konsequenzen dieses Ergebnisses diskutieren, die für das maschinelle Lernen relevant sind. Schließlich werden wir den multivariaten Fall diskutieren und sehen, wie die Jacobi und die Hessian ins Spiel kommen.

Wenn wir die Minimal- und Maximalpunkte einer Funktion finden wollen, können wir dazu die multivariate Kalkulation verwenden, z.B. um die Parameter (den Raum) einer Funktion zu optimieren, die zu einigen Daten passt. Zunächst werden wir dies in einer Dimension tun und den Gradienten verwenden, um zu schätzen, wo die Nullpunkte der Funktion liegen, und dann mit der Newton-Raphson-Methode iterieren. Dann werden wir die Idee auf mehrere Dimensionen ausdehnen, indem wir den Gradientenvektor, Grad, finden, der der Vektor der Jacobi ist. Auf diese Weise können wir mit der so genannten Gradientenabstiegsmethode zu den Minima und Maxima vordringen. Wir werden uns dann einen Moment Zeit nehmen, um Grad zu verwenden, um die Minima und Maxima entlang einer Beschränkung im Raum zu finden, was die Methode der Lagrange-Multiplikatoren ist.

Um die Anpassungsparameter einer Anpassungsfunktion auf die beste Anpassung für einige Daten zu optimieren, brauchen wir eine Möglichkeit, um zu definieren, wie gut unsere Anpassung ist. Diese Anpassungsgüte wird als Chi-Quadrat bezeichnet, das wir zunächst auf die Anpassung einer geraden Linie - die lineare Regression - anwenden werden. Dann sehen wir uns an, wie wir unsere Anpassungsfunktion unter Verwendung von chi-Quadrat im allgemeinen Fall mit der Methode des Gradientenabstiegs optimieren können. Zum Abschluss des Kurses werden wir uns ansehen, wie Sie dies in Python mit nur wenigen Zeilen Code ganz einfach umsetzen können.