Architecture des transformateurs : le X Gomega

Cette séance de cours couvre l'architecture Transformer, en mettant l'accent sur les composants d'encodeur et de décodeur, le mécanisme d'auto-attention, l'attention multi-tête, les encodages positionnels, et des opérations supplémentaires comme les connexions résiduelles et la normalisation des couches. Il explique comment les transformateurs sont utilisés pour la traduction automatique et la reconnaissance d'images, en soulignant l'importance des mécanismes d'attention et des stratégies de formation.