Réseaux neuronaux : Transformateurs

Cette séance de cours couvre le concept de transformateurs dans les réseaux neuronaux, en mettant l'accent sur les transformations séquence-séquence. Il explique comment différents types de données comme les mots, les images et les données multimodales peuvent être représentés comme des séquences et traités à l'aide de transformateurs. La séance de cours s'inscrit dans l'architecture des transformateurs, y compris les mécanismes d'auto-attention, l'auto-attention multi-tête, et l'importance de l'information positionnelle. Il traite également du rôle des transformateurs dans les tâches telles que la classification des sentiments, la traduction et la description de l'image. La présentation se termine par un aperçu de l'architecture des transformateurs de vision et des capacités des transformateurs à capter les dépendances à long terme.