La semaine dernière, vous avez vu comment utiliser le tokenizer pour préparer votre texte à être utilisé par un réseau neuronal en convertissant les mots en jetons numériques et en séquençant les phrases à partir de ces jetons. Cette semaine, vous découvrirez les Embeddings, où ces jetons sont représentés sous forme de vecteurs dans un espace à haute dimension. Grâce aux Embeddings et aux exemples étiquetés, ces vecteurs peuvent être ajustés de manière à ce que les mots ayant une signification similaire aient une direction similaire dans l'espace vectoriel. Vous commencerez par étudier des critiques de films, en entraînant un réseau neuronal sur des textes étiquetés "positifs" ou "négatifs" et en déterminant quels mots d'une phrase sont porteurs de ces significations.

Au cours des deux dernières semaines, vous avez commencé par étudier la tokenisation des mots pour en tirer des valeurs numériques, puis vous avez utilisé les emboîtements pour regrouper les mots de même sens en fonction de la façon dont ils ont été étiquetés. Cela vous a permis d'obtenir une analyse de sentiment satisfaisante, mais approximative : des mots tels que "amusant" et "divertissant" peuvent apparaître dans une critique de film positive, tandis que "ennuyeux" et "terne" peuvent apparaître dans une critique négative. Mais le sentiment peut également être déterminé par l'ordre d'apparition des mots. Par exemple, vous pourriez avoir "pas amusant", qui est bien sûr le contraire de "amusant". Cette semaine, vous allez commencer à creuser dans une variété de formats de modèles qui sont utilisés dans les modèles de formation pour comprendre le contexte dans la séquence !

À partir de tout ce que vous avez appris en formant un réseau neuronal basé sur la PNL, nous avons pensé qu'il serait amusant de détourner la classification et d'utiliser vos connaissances pour la prédiction. À partir d'un corpus de mots, vous pourriez prédire le mot le plus susceptible de suivre un mot ou une phrase donné(e) et, une fois que vous y êtes parvenu(e), recommencer encore et encore. C'est dans cet esprit que vous allez construire cette semaine un générateur de poésie. Il a été formé avec les paroles de chansons traditionnelles irlandaises et peut être utilisé pour produire lui-même de beaux vers !