Deep Learning pour le NLP

Cette séance de cours couvre les bases de l'apprentissage profond pour le traitement du langage naturel (PNL), en mettant l'accent sur la composition vectorielle de mots, les incorporations, les représentations contextuelles et les techniques d'apprentissage telles que Word2vec et Glove. Il plonge dans un sac continu de mots (CBOW) et des modèles de saut de gramme, expliquant la fonction softmax et les défis de la disparition des gradients dans les réseaux neuronaux récurrents. La séance de cours présente également le modèle de transformateur, le mécanisme d'auto-attention et l'intégration de connaissances structurées et non structurées dans les tâches de PNL. Il se termine par des discussions sur les succès, les défis et les considérations éthiques en PNL.