Deep Learning pour le NLP

Cette séance de cours couvre les principes fondamentaux de l'apprentissage profond pour le traitement du langage naturel (NLP), y compris l'incorporation de mots neuraux, les réseaux neuraux récurrents pour la modélisation des séquences et la modélisation névralgique attenante avec les transformateurs. L'instructeur discute des défis des fenêtres de contexte fixes dans les premiers modèles de langage neuronal, des limites des modèles récurrents dans l'apprentissage des dépendances à longue distance, et des progrès apportés par les mécanismes d'auto-attention dans les transformateurs. La présentation comprend une explication détaillée de l'auto-attention, l'attention multi-têtes, et l'architecture d'un modèle de transformateur complet avec des blocs encodeur et décodeur.