Séance de cours

Transformers: Unifier les communautés d'apprentissage automatique

Description

Cette séance de cours traite du concept des transformateurs dans l'apprentissage automatique, en soulignant leur rôle dans l'unification de divers domaines tels que la vision par ordinateur, le traitement du langage naturel et l'apprentissage par renforcement. L'instructeur explique comment Transformers a émergé en 2017, révolutionnant la façon dont différentes communautés ont abordé les tâches d'apprentissage automatique. Initialement conçus pour les tâches de traduction, les transformateurs ont depuis été adaptés pour la classification des images et la segmentation sémantique, démontrant ainsi leur polyvalence et leur efficacité. La séance de cours couvre l'architecture des transformateurs, y compris la structure encodeur-décodeur, et l'importance de la tokenisation et du codage positionnel. Linstructeur élabore sur le mécanisme dauto-attention, qui permet au modèle de peser la pertinence des différents jetons, et lattention multi-tête qui améliore la capacité du modèle à capturer des informations diverses. La discussion aborde également l’importance des mécanismes d’attention dans le traitement des séquences et les implications pour les développements futurs de l’apprentissage automatique. Dans l'ensemble, la séance de cours fournit un aperçu complet de la façon dont les transformateurs ont transformé le paysage de l'apprentissage automatique.

À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Graph Chatbot

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.