Séquence aux modèles de séquence: Aperçu et mécanismes d'attention

Cette séance de cours couvre les bases des modèles séquentiels à séquentiels, en se concentrant sur les lacunes liées aux dépendances à longue distance et au goulot d'étranglement temporel. Il introduit des améliorations par le biais de mécanismes d'attention, expliquant comment ils répondent aux limites des modèles récurrents traditionnels. L'instructeur discute du concept d'encodeurs bidirectionnels et de la façon dont ils améliorent la représentation des séquences d'entrée. Le processus de formation des modèles d'encodeur-décodeur est expliqué, en soulignant le besoin de données appariées dans les langues pour des tâches comme la traduction automatique. La séance de cours se penche également sur la mise en œuvre de modèles d'encodeur-décodeur attentifs, soulignant l'importance de l'attention dans l'atténuation du goulot d'étranglement temporel et l'amélioration de l'interprétabilité. Diverses fonctions d'attention et leur rôle dans l'amélioration du rendement des modèles sont explorés, ainsi que l'aspect d'interprétation des mécanismes d'attention.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (41)

Concepts associés (35)

CS-552: Modern natural language processing

Natural language processing is ubiquitous in modern intelligent technologies, serving as a foundation for language translators, virtual assistants, search engines, and many more. In this course, stude

Statistical machine translation

Statistical machine translation (SMT) was a machine translation approach, that superseded the previous, rule-based approach because it required explicit description of each and every linguistic rule, which was costly, and which often did not generalize to other languages. Since 2003, the statistical approach itself has been gradually superseded by the deep learning-based neural network approach. The first ideas of statistical machine translation were introduced by Warren Weaver in 1949, including the ideas of applying Claude Shannon's information theory.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Example-based machine translation

Example-based machine translation (EBMT) is a method of machine translation often characterized by its use of a bilingual corpus with parallel texts as its main knowledge base at run-time. It is essentially a translation by analogy and can be viewed as an implementation of a case-based reasoning approach to machine learning. At the foundation of example-based machine translation is the idea of translation by analogy.

Long short-term memory

Long short-term memory (LSTM) network is a recurrent neural network (RNN), aimed to deal with the vanishing gradient problem present in traditional RNNs. Its relative insensitivity to gap length is its advantage over other RNNs, hidden Markov models and other sequence learning methods. It aims to provide a short-term memory for RNN that can last thousands of timesteps, thus "long short-term memory".

Réseau neuronal convolutif

En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.

Deep Learning pour le NLP CS-431: Introduction to natural language processing

Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.

Deep Learning pour le NLP

En savoir plus sur l'apprentissage profond pour le traitement des langues naturelles, l'exploration de l'intégration des mots neuraux, des réseaux neuraux récurrents et de la modélisation des neurones avec les transformateurs.

Traduction automatique: séquence à séquence et attention EE-608: Deep Learning For Natural Language Processing

Explore les progrès de la traduction automatique, en mettant l'accent sur les modèles de séquence à séquence et les mécanismes d'attention.

Modélisation linguistique et réseaux neuronaux récurrents EE-608: Deep Learning For Natural Language Processing

Explore la modélisation linguistique, les RNN, les modèles n-gram, les LSTM et les RNN bidirectionnelles.

Prévisions de trajectoire dans les véhicules autonomes CIVIL-459: Deep learning for autonomous vehicles

Explore la prévision des trajectoires dans les véhicules autonomes, en mettant l'accent sur les modèles d'apprentissage profond pour prédire les trajectoires humaines dans les scénarios de transport socialement conscients.