Au cours de la première semaine de ce cours, vous apprendrez à comprendre le compromis exploration-exploitation dans la prise de décision séquentielle, à mettre en œuvre des algorithmes incrémentaux pour estimer les valeurs d'action et à comparer les forces et les faiblesses de différents algorithmes d'exploration. Pour l'évaluation notée de cette semaine, vous implémenterez et testerez un agent epsilon-greedy.

Lorsque vous êtes confronté à un problème industriel, la première étape, et la plus importante, consiste à traduire ce problème en un processus décisionnel de Markov (PDM). La qualité de votre solution dépend fortement de la façon dont vous effectuez cette traduction. Cette semaine, vous apprendrez la définition des PDM, vous comprendrez ce qu'est un comportement orienté vers un but et comment il peut être obtenu en maximisant des récompenses scalaires, et vous comprendrez également la différence entre les tâches épisodiques et les tâches continues. Pour l'évaluation notée de cette semaine, vous créerez trois exemples de tâches de votre cru qui s'inscrivent dans le cadre des PDM.

Une fois que le problème est formulé comme un MDP, la recherche de la politique optimale est plus efficace lorsque l'on utilise des fonctions de valeur. Cette semaine, vous apprendrez à définir les politiques et les fonctions de valeur, ainsi que les équations de Bellman, qui est la technologie clé que tous nos algorithmes utiliseront.

Cette semaine, vous apprendrez à calculer des fonctions de valeur et des politiques optimales, en supposant que vous disposiez du modèle MDP. Vous mettrez en œuvre la programmation dynamique pour calculer les fonctions de valeur et les politiques optimales et comprendrez l'utilité de la programmation dynamique pour les applications et les problèmes industriels. En outre, vous découvrirez l'itération de politique généralisée en tant que modèle commun pour la construction d'algorithmes qui maximisent la récompense. Pour l'évaluation notée de cette semaine, vous mettrez en œuvre un agent de programmation dynamique efficace dans un problème de contrôle industriel simulé.