Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Séance de cours
Réseaux de transformateurs : auto-attention
Description
Cette séance de cours couvre les réseaux de transformateurs et les couches d'auto-attention, expliquant comment ils cartographient les ensembles d'entrées et le concept d'attention multi-têtes. Il s'inscrit dans le processus d'apprentissage des poids, de l'importance de l'encodage positionnel et de l'interprétabilité des têtes.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.