Ce cours fournit une introduction pratique à l'utilisation de modèles transformateurs pour des applications de traitement du langage naturel (NLP). Vous apprendrez à construire et à entraîner des modèles pour la classification de textes en utilisant des architectures basées sur des encodeurs comme Bidirectional Encoder Representations from Transformers (BERT), et explorerez des concepts de base tels que l'encodage positionnel, les word embeddings, et les mécanismes d'attention. Le cours couvre l'attention multi-têtes, l'auto-attention, et la modélisation causale du langage avec GPT pour des tâches telles que la génération de texte et la traduction. Vous acquerrez une expérience pratique de la mise en œuvre de modèles transformateurs dans PyTorch, y compris des stratégies de préformation telles que la modélisation du langage masqué (MLM) et la prédiction de la phrase suivante (NSP). Grâce à des laboratoires guidés, vous appliquerez des modèles d'encodeur et de décodeur à des scénarios du monde réel. Ce cours est conçu pour les apprenants intéressés par l'ingénierie de l'IA générative et nécessite des connaissances préalables de Python, PyTorch et de l'apprentissage automatique. Inscrivez-vous dès maintenant pour renforcer vos compétences en NLP avec des transformateurs !