Transformers : Révolutionner les mécanismes d’attention en PNL

À propos
Confidentialité
Mentions légales

Graph Chatbot

Séances de cours associées (32)

Page 3 sur 4

Modèles de séquence de préformation: BART et T5

Couvre la préformation des modèles séquence à séquence, en se concentrant sur les architectures BART et T5.

Transformers: Unifier les communautés d'apprentissage automatique

Couvre le rôle des transformateurs dans l'unification de divers domaines d'apprentissage automatique.

Réseaux de mémoire à court terme

Introduit les réseaux de mémoire à long terme (LSTM) comme une solution pour la disparition et l'explosion des gradients dans les réseaux neuronaux récurrents.

Représentations contextuelles : ELMO et BERT Vue d'ensemble

Couvre les représentations contextuelles en PNL, en se concentrant sur les architectures ELMO et BERT et leurs applications dans diverses tâches.

Optimisation des réseaux neuraux

Explore l'optimisation des réseaux neuronaux, y compris la rétropropagation, la normalisation des lots, l'initialisation du poids et les stratégies de recherche d'hyperparamètres.

Modèles de génération profonde: Partie 2

Explore les modèles générateurs profonds, y compris les mélanges de multinômes, PCA, autoencodeurs profonds, autoencodeurs convolutionnels, et GANs.

Modélisation linguistique et réseaux neuronaux récurrents

Explore la modélisation linguistique, les RNN, les modèles n-gram, les LSTM et les RNN bidirectionnelles.

NLP moderne: Introduction

Par Antoine Bosselut présente le traitement du langage naturel et ses défis, ses avancées dans les modèles neuronaux et ses objectifs de cours.

Deep Learning : réseaux neuronaux convolutifs

Présente les réseaux neuronaux convolutifs, en expliquant leur architecture, leur processus de formation et leurs applications dans les tâches de segmentation sémantique.

Représentations neuro-symboliques: Connaissances communes et Raisonnement

Déplacez-vous dans des représentations neuro-symboliques pour la connaissance du sens commun et le raisonnement dans les applications de traitement du langage naturel.