Séance de cours
Réseaux de transformateurs : auto-attention
Description
Cette séance de cours couvre les réseaux de transformateurs et les couches d'auto-attention, expliquant comment ils cartographient les ensembles d'entrées et le concept d'attention multi-têtes. Il s'inscrit dans le processus d'apprentissage des poids, de l'importance de l'encodage positionnel et de l'interprétabilité des têtes.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.