Seq2Seq Modèles: Attention vs. Pas d'attention

Cette séance de cours couvre la mise en œuvre des modèles de séquence à séquence (Seq2Seq) avec et sans mécanismes d'attention. Il explique l'architecture des modèles codeurs-décodeurs, le rôle des vecteurs de contexte et le processus de décodage des phrases sources en phrases cibles. La séance de cours explore également l'utilisation des RNN bidirectionnels, le forçage des enseignants et différents types de mécanismes d'attention tels que l'additif et l'attention personnelle. En outre, il discute de l'importance de l'initialisation du poids, des boucles d'entraînement et des applications des mécanismes d'attention dans diverses tâches de ML et de PNL.