In dieser Woche werden Sie eine Problembeschreibung lesen und diese in ein MDP übersetzen. Sie vervollständigen den Skelettcode für diese Umgebung, um ein vollständiges MDP zu erhalten, das Sie in diesem Abschlussprojekt verwenden können.

In dieser Woche werden Sie aus drei Algorithmen auswählen, um eine Richtlinie für die Umwelt zu lernen. Sie werden über die Angemessenheit jedes Algorithmus für diese Umgebung nachdenken und diskutieren.

In dieser Woche werden Sie die wichtigsten Parameter identifizieren, die die Leistung Ihres Agenten beeinflussen. Das Ziel ist es, den Raum der Möglichkeiten zu verstehen, damit Sie später entscheiden können, welchen Parameter Sie für Ihren Agenten eingehend untersuchen wollen.

In dieser Woche werden Sie Ihren Agenten mit Expected Sarsa oder Q-learning mit RMSProp und Neuronalen Netzen implementieren. Um NNs zu verwenden, müssen Sie eine sorgfältigere Strategie zur Auswahl der Schrittgröße anwenden, weshalb Sie RMSProp verwenden werden. Sie werden auch die Korrektheit Ihres Agenten überprüfen.

In dieser Woche werden Sie einen Parameter für Ihren Agenten auswählen, den Sie untersuchen möchten. Sobald Sie den zu untersuchenden Parameter ausgewählt haben, werden wir Ihnen eine Reihe von Werten und spezifische Werte für andere Parameter zur Verfügung stellen. Sie werden ein Skript schreiben, mit dem Sie Ihren Agenten und Ihre Umgebung mit diesen Parametern laufen lassen, um die Leistung über diese Parameter hinweg zu bestimmen. Sie werden einen Einblick in die Auswirkungen der Parameter auf die Leistung des Agenten erhalten. Außerdem können Sie die Agenten, die Sie lernen, visualisieren. Ihre Parameterstudie wird aus einem Array von Werten bestehen, die wir auf ihre Korrektheit überprüfen werden.