Dans ce module, vous explorerez des techniques avancées pour affiner les grands modèles de langage (LLM) en utilisant l'apprentissage par renforcement à partir du feedback humain (RLHF), l'optimisation proximale des politiques (PPO) et l'optimisation directe des préférences (DPO). Vous commencerez par décrire comment les LLM fonctionnent en tant que distributions probabilistes et comment celles-ci peuvent être transformées en politiques pour générer des réponses basées sur le texte d'entrée. Vous examinerez la relation entre les politiques et les modèles de langage en fonction de paramètres, tels que l'oméga, et la manière dont les récompenses peuvent être calculées à l'aide du retour d'information humain. Cela inclut la formation d'échantillons de réponses, l'évaluation des performances des agents et la définition de fonctions de notation pour des tâches telles que l'analyse des sentiments à l'aide de PPO. Vous serez également en mesure d'expliquer la configuration de PPO, les taux d'apprentissage et le rôle du formateur PPO dans l'optimisation des réponses du chatbot à l'aide des outils Hugging Face. Le module présente en outre le DPO, un moyen plus direct et plus efficace d'aligner les modèles sur les préférences humaines. Bien que des sujets complexes comme l'OPP et l'apprentissage par renforcement soient introduits, vous n'êtes pas censé les comprendre en profondeur pour ce cours. Les travaux pratiques de ce module vous permettront de vous exercer à l'application de la RLHF et de la DPO. Pour vous aider dans votre apprentissage, une antisèche et un glossaire sont inclus pour une référence rapide.