Séance de cours
Architecture des transformateurs : le X Gomega
Description
Cette séance de cours couvre l'architecture Transformer, en mettant l'accent sur les composants d'encodeur et de décodeur, le mécanisme d'auto-attention, l'attention multi-tête, les encodages positionnels, et des opérations supplémentaires comme les connexions résiduelles et la normalisation des couches. Il explique comment les transformateurs sont utilisés pour la traduction automatique et la reconnaissance d'images, en soulignant l'importance des mécanismes d'attention et des stratégies de formation.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.