Bienvenue à la deuxième semaine ! Cette semaine, nous allons nous familiariser avec les problèmes de bandits à plusieurs bras, un type de problème d'optimisation dans lequel l'algorithme équilibre l'exploration et l'exploitation afin de maximiser les récompenses. Les sujets abordés comprennent les valeurs des actions et l'estimation de la moyenne des échantillons, la sélection des actions par 𝜀-greedy et la limite supérieure de confiance. Vous pouvez poster dans le forum de discussion si vous avez besoin d'aide pour le quiz et le devoir.

Bienvenue à la troisième semaine ! Cette semaine, nous nous concentrerons sur les bases du processus de décision de Markov, y compris les récompenses, les utilités, l'actualisation, les politiques, les fonctions de valeur et les équations de Bellman. Vous modéliserez des problèmes de décision séquentielle, comprendrez l'impact des récompenses et des facteurs d'actualisation sur les résultats, définirez des politiques et des fonctions de valeur, et écrirez des équations de Bellman pour les solutions optimales. Vous pouvez poster dans le forum de discussion si vous avez besoin d'aide pour le quiz et le devoir.

Bienvenue à la semaine 4 ! Cette semaine, nous aborderons les algorithmes de programmation dynamique pour résoudre les processus de décision de Markov (PDM). Les sujets abordés incluent l'itération de valeur et l'itération de politique, les équations de Bellman non linéaires, la complexité et la convergence, ainsi qu'une comparaison des deux approches.

Bienvenue à la semaine 5 ! Cette semaine, nous aborderons les thèmes de l'observabilité partielle et des POMDP, des états de croyance, de la représentation en tant que MDP de croyance et de la planification en ligne dans les MDP et les POMDP. Vous appliquerez également vos connaissances pour mettre à jour l'état de croyance et utiliser une fonction de transition de croyance pour calculer les valeurs de l'état. Vous pouvez poster dans le forum de discussion si vous avez besoin d'aide pour le quiz et le devoir.

Bienvenue à la semaine 6 ! Cette semaine, nous présenterons les méthodes de Monte Carlo et couvrirons des sujets liés à l'estimation des valeurs d'état à l'aide de la moyenne d'échantillonnage et de la prédiction de Monte Carlo, aux valeurs d'état-action et aux politiques epsilon-greedy, ainsi qu'à l'échantillonnage d'importance pour le contrôle de Monte Carlo hors politique et sur politique. Vous apprendrez à estimer les valeurs d'état, les valeurs d'état-action, à utiliser l'échantillonnage d'importance et à mettre en œuvre le contrôle Monte Carlo hors politique pour un apprentissage optimal de la politique. Vous pouvez poster dans le forum de discussion si vous avez besoin d'aide pour le quiz et le devoir.

Bienvenue à la semaine 7 ! Cette semaine, nous aborderons des sujets liés à l'apprentissage par différence temporelle pour la prédiction, aux méthodes TD batch, à SARSA pour le contrôle sur la politique, et à Q-learning pour le contrôle hors politique. Vous apprendrez à mettre en œuvre la prédiction TD, les méthodes TD batch et offline, SARSA et Q-learning, et à comparer l'apprentissage TD on-policy et off-policy. Vous appliquerez ensuite vos connaissances en résolvant un devoir de programmation de type morpion. Vous pouvez poster dans le forum de discussion si vous avez besoin d'aide pour le quiz et le devoir.

Bienvenue à la semaine 8 ! Ce module couvre la prédiction de différence temporelle en une étape, SARSA en une étape (avec et sans politique), RL basé sur un modèle avec Dyna-Q, et l'approximation de fonction. Vous serez prêt à mettre en œuvre l'apprentissage par différence temporelle en une étape, la SARSA en une étape, Dyna-Q pour l'apprentissage basé sur un modèle, et à utiliser l'approximation de fonction pour l'apprentissage par renforcement. Vous appliquerez vos connaissances dans l'environnement de programmation Frozen Lake. Vous pouvez poster dans le forum de discussion si vous avez besoin d'aide pour le quiz et le devoir.