Transformers : l’auto-attention et le MLP

Cette séance de cours introduit le concept de transformateurs, en mettant l'accent sur l'auto-attention et les mécanismes de perceptron multicouches (MLP). L'instructeur explique comment les transformateurs peuvent traiter efficacement les séquences, couvrant des sujets tels que la transformation de séquence à séquence, l'encodage positionnel et l'auto-attention multi-têtes. La séance de cours se penche sur l'architecture des transformateurs, leur application dans diverses modalités et leur capacité à capturer les dépendances à longue portée. L'instructeur discute également de l'évolutivité et de la parallélisation de l'auto-attention, en soulignant les avantages et les défis de l'utilisation de transformateurs dans les tâches d'apprentissage automatique.