De l'attention aux transformateurs

Cette séance de cours couvre la transition des mécanismes d'attention aux transformateurs dans le NLP moderne. En commençant par les modèles d'encodeur-décodeur, l'instructeur explique le concept d'attention et son amélioration par des transformateurs. La séance de cours se penche sur la génération de séquences en utilisant le décodage d'une séquence à l'autre. Le modèle de décodeur-encodeur attentif est introduit, mettant en évidence la réduction des goulets d'étranglement temporels et l'utilisation de l'attention pour se concentrer sur différentes parties de l'entrée. On discute de la fonction d'attention, y compris l'attention multiplicative, linéaire et à l'échelle des points produits. La séance de cours se termine par une explication détaillée de l'auto-attention, l'attention multi-tête masquée, et l'attention croisée dans les transformateurs.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (42)

Concepts associés (127)

CS-552: Modern natural language processing

Natural language processing is ubiquitous in modern intelligent technologies, serving as a foundation for language translators, virtual assistants, search engines, and many more. In this course, stude

Attention (machine learning)

Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Attention

thumb|250px|Jeune fille se concentrant sur une tâche manuelle ; le regard, la respiration, la position du corps et en particulier des mains et le contrôle neuro musculaire sont mobilisés de concert pour assurer la précision du mouvement L'attention est la faculté de l'esprit de se consacrer à un objet : d'utiliser ses capacités à l'observation, l'étude, le jugement d'une chose quelle qu'elle soit, ou encore à la pratique d'une action.

Neural machine translation

Neural machine translation (NMT) is an approach to machine translation that uses an artificial neural network to predict the likelihood of a sequence of words, typically modeling entire sentences in a single integrated model. They require only a fraction of the memory needed by traditional statistical machine translation (SMT) models. Furthermore, unlike conventional translation systems, all parts of the neural translation model are trained jointly (end-to-end) to maximize the translation performance.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Deep Learning pour le NLP

En savoir plus sur l'apprentissage profond pour le traitement des langues naturelles, l'exploration de l'intégration des mots neuraux, des réseaux neuraux récurrents et de la modélisation des neurones avec les transformateurs.

Deep Learning pour le NLP CS-431: Introduction to natural language processing

Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.

Modèles de langage: De la théorie à l'informatique EE-556: Mathematics of data: from theory to computation

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Transformateurs dans la vision CS-503: Visual intelligence : machines and minds

Explore l'évolution des modèles d'intelligence visuelle, en mettant l'accent sur les Transformateurs et leurs applications dans la vision informatique et le traitement du langage naturel.

Traduction automatique: séquence à séquence et attention EE-608: Deep Learning For Natural Language Processing

Explore les progrès de la traduction automatique, en mettant l'accent sur les modèles de séquence à séquence et les mécanismes d'attention.