Transformers: Techniques de pré-entraînement et de décodage
Graph Chatbot
Chattez avec Graph Search
Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.
AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.
Couvre les modèles générateurs en mettant l'accent sur l'auto-attention et les transformateurs, en discutant des méthodes d'échantillonnage et des moyens empiriques.
Explore l'apprentissage profond pour la PNL, en couvrant les insertions de mots, les représentations contextuelles, les techniques d'apprentissage et les défis tels que les gradients de disparition et les considérations éthiques.
Explore l'évolution des mécanismes d'attention vers les transformateurs dans les NLP modernes, en soulignant l'importance de l'auto-attention et de l'attention croisée.
Explore la prévision des trajectoires dans les véhicules autonomes, en mettant l'accent sur les modèles d'apprentissage profond pour prédire les trajectoires humaines dans les scénarios de transport socialement conscients.
Explore les codeurs automatiques variables, l'inférence bayésienne, les espaces latents axés sur l'attention et l'efficacité des transformateurs dans le traitement des langues.
Explore le développement d'intégrations contextuelles dans le NLP, en mettant l'accent sur les progrès réalisés par ELMo et BERT et son impact sur les tâches du NLP.
Couvre les approches modernes du réseau neuronal en matière de PNL, en mettant l'accent sur l'intégration de mots, les réseaux neuronaux pour les tâches de PNL et les futures techniques d'apprentissage par transfert.
