Séance de cours
Transformers: Techniques de pré-entraînement et de décodage
Séances de cours associées (32)
Modèles Vision-Langue-Action : Formation et applications
Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.
Deep Learning pour le NLP
Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.
Transformateurs : Architecture complète et mécanisme d'auto-attention
Explique l'architecture complète des Transformateurs et le mécanisme d'auto-attention, en soulignant le changement de paradigme vers l'utilisation de modèles complètement préformés.
Architecture des transformateurs : le X Gomega
Déplacez-vous dans l'architecture Transformer, l'auto-attention et les stratégies de formation pour la traduction automatique et la reconnaissance d'image.
Transformateurs Graph-to-Graph : Encodage graphique sensible à la syntaxe
Introduit l'architecture Graph-to-Graph Transformer sensible à la syntaxe pour un conditionnement efficace sur les graphes de dépendance syntaxiques.
Modèles de langage: De la théorie à l'informatique
Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.
Deep Learning pour le NLP
En savoir plus sur l'apprentissage profond pour le traitement des langues naturelles, l'exploration de l'intégration des mots neuraux, des réseaux neuraux récurrents et de la modélisation des neurones avec les transformateurs.
Modèles de génération profonde: Partie 2
Explore les modèles générateurs profonds, y compris les mélanges de multinômes, PCA, autoencodeurs profonds, autoencodeurs convolutionnels, et GANs.
Formation des classificateurs de sentiments binaires
Couvre la formation d'un classificateur de sentiment binaire à l'aide d'un RNN.
Transformers en vision : applications et architectures
Couvre l'impact des transformateurs dans la vision par ordinateur, en discutant de leur architecture, de leurs applications et de leurs progrès dans diverses tâches.