In der ersten Woche dieses Kurses werden Sie lernen, den Kompromiss zwischen Exploration und Ausbeutung bei sequentiellen Entscheidungen zu verstehen, inkrementelle Algorithmen zur Schätzung von Aktionswerten zu implementieren und die Stärken und Schwächen verschiedener Algorithmen zur Exploration zu vergleichen. Für die benotete Bewertung in dieser Woche werden Sie einen Epsilon-Greedy-Agenten implementieren und testen.

Wenn Sie in der Industrie mit einem Problem konfrontiert werden, besteht der erste und wichtigste Schritt darin, dieses Problem in einen Markov Decision Process (MDP) zu übersetzen. Die Qualität Ihrer Lösung hängt stark davon ab, wie gut Sie diese Übersetzung durchführen. In dieser Woche werden Sie die Definition von MDPs kennenlernen, Sie werden verstehen, wie zielgerichtetes Verhalten aus der Maximierung skalarer Belohnungen resultiert und Sie werden auch den Unterschied zwischen episodischen und kontinuierlichen Aufgaben verstehen. Für die benotete Bewertung in dieser Woche werden Sie drei eigene Beispielaufgaben erstellen, die in den MDP-Rahmen passen.

Sobald das Problem als MDP formuliert ist, ist die Suche nach der optimalen Strategie effizienter, wenn Wertfunktionen verwendet werden. In dieser Woche lernen Sie die Definition von Strategien und Wertfunktionen sowie die Bellman-Gleichungen kennen, die Schlüsseltechnologie, die alle unsere Algorithmen verwenden werden.

In dieser Woche werden Sie lernen, wie Sie Wertfunktionen und optimale Strategien berechnen können, vorausgesetzt, Sie haben das MDP-Modell. Sie werden die dynamische Programmierung implementieren, um Wertfunktionen und optimale Strategien zu berechnen und den Nutzen der dynamischen Programmierung für industrielle Anwendungen und Probleme zu verstehen. Außerdem lernen Sie die Generalized Policy Iteration als gängige Vorlage für die Konstruktion von Algorithmen zur Maximierung der Belohnung kennen. Für die benotete Bewertung in dieser Woche werden Sie einen effizienten Agenten der dynamischen Programmierung für ein simuliertes industrielles Steuerungsproblem implementieren.