Traduction automatique : Mécanisme d'attention

Cette séance de cours couvre le concept de mécanisme d'attention dans la traduction automatique, abordant le problème du goulot d'étranglement dans les modèles séquence à séquence. L'instructeur explique comment l'attention fournit une solution en permettant au décodeur de se concentrer sur des parties spécifiques de la séquence source, améliorant considérablement les performances NMT. L'attention aide également avec le problème de gradient de fuite et fournit l'interprétabilité en montrant sur quoi le décodeur se concentre. Différentes variantes d'attention sont discutées, y compris l'attention point-produit, multiplicative et additive, chacune avec ses avantages. La séance de cours se termine par un résumé de l'attention portée à la NMT, soulignant son efficacité dans l'apprentissage des alignements souples entre les jetons d'entrée et de sortie.