Dans ce module, vous explorerez des techniques avancées pour affiner les grands modèles de langage (LLM) en utilisant l'apprentissage par renforcement à partir du feedback humain (RLHF), l'optimisation proximale des politiques (PPO) et l'optimisation directe des préférences (DPO). Vous commencerez par décrire comment les LLM fonctionnent comme des distributions probabilistes et comment celles-ci peuvent être transformées en politiques pour générer des réponses basées sur le texte d'entrée. Vous examinerez la relation entre les politiques et les modèles de langage en fonction de paramètres, tels que l'oméga, et la manière dont les récompenses peuvent être calculées en utilisant le retour d'information humain. Cela inclut la formation d'échantillons de réponses, l'évaluation des performances des agents et la définition de fonctions de notation pour des tâches telles que l'analyse des sentiments à l'aide de PPO. Vous serez également en mesure d'expliquer la configuration du PPO, les taux d'apprentissage et le rôle du formateur PPO dans l'optimisation des réponses du chatbot à l'aide des outils Hugging Face. Le module présente également le DPO, un moyen plus direct et plus efficace d'aligner les modèles sur les préférences humaines. Bien que des sujets complexes tels que l'OPP et l'apprentissage par renforcement soient introduits, vous n'êtes pas censé les comprendre en profondeur dans le cadre de ce cours. Les travaux pratiques de ce module vous permettront de vous exercer à l'application de la RLHF et de la DPO. Pour vous aider dans votre apprentissage, une antisèche et un glossaire sont inclus pour une référence rapide.