Encodeurs automatiques et NVIB variables

Cette séance de cours couvre le goulot d'étranglement de l'information variétale (NVIB) et les encodeurs automatiques variables (VAE). Il explique l'approche bayésienne des encodeurs automatiques, l'astuce de reparamétérisation et la taxonomie des modèles générateurs. La séance de cours se penche sur l'intractabilité de la probabilité de données dans les EAV, le concept d'inférence variationnelle et l'utilisation d'espaces latents axés sur l'attention dans les Transformateurs. Il traite également de l'importance d'induire des représentations compressées dans les données textuelles et des avantages du NVIB dans la création d'espaces de représentation en douceur. La présentation se termine par un aperçu des raisons pour lesquelles les transformateurs sont des modèles efficaces pour le traitement des langues.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (59)

Concepts associés (43)

The Deep Learning for NLP course provides an overview of neural network based methods applied to text. The focus is on models particularly suited to the properties of human language, such as categori

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Apprentissage non supervisé

Dans le domaine informatique et de l'intelligence artificielle, l'apprentissage non supervisé désigne la situation d'apprentissage automatique où les données ne sont pas étiquetées (par exemple étiquetées comme « balle » ou « poisson »). Il s'agit donc de découvrir les structures sous-jacentes à ces données non étiquetées. Puisque les données ne sont pas étiquetées, il est impossible à l'algorithme de calculer de façon certaine un score de réussite.

Inférence bayésienne

vignette|Illustration comparant les approches fréquentiste et bayésienne (Christophe Michel, 2018). L’inférence bayésienne est une méthode d'inférence statistique par laquelle on calcule les probabilités de diverses causes hypothétiques à partir de l'observation d'événements connus. Elle s'appuie principalement sur le théorème de Bayes. Le raisonnement bayésien construit, à partir d'observations, une probabilité de la cause d'un type d'événements.

Loi normale

En théorie des probabilités et en statistique, les lois normales sont parmi les lois de probabilité les plus utilisées pour modéliser des phénomènes naturels issus de plusieurs événements aléatoires. Elles sont en lien avec de nombreux objets mathématiques dont le mouvement brownien, le bruit blanc gaussien ou d'autres lois de probabilité. Elles sont également appelées lois gaussiennes, lois de Gauss ou lois de Laplace-Gauss des noms de Laplace (1749-1827) et Gauss (1777-1855), deux mathématiciens, astronomes et physiciens qui l'ont étudiée.

Diffusion model

In machine learning, diffusion models, also known as diffusion probabilistic models or score-based generative models, are a class of latent variable models. They are Markov chains trained using variational inference. The goal of diffusion models is to learn the latent structure of a dataset by modeling the way in which data points diffuse through the latent space. In computer vision, this means that a neural network is trained to denoise images blurred with Gaussian noise by learning to reverse the diffusion process.

Modèles de génération profonde: Codeurs automatiques et GANs DH-406: Machine learning for DH

Explore les codeurs automatiques et les réseaux d'adversaires génériques pour la modélisation generative profonde.

Modèles Vision-Langue-Action : Formation et applications

Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.

Analyse des documents : Modélisation des sujets DH-406: Machine learning for DH

Explore l'analyse documentaire, la modélisation thématique et les modèles génériques pour la production de données dans l'apprentissage automatique.

Modèles du sujet: Comprendre les structures latentes DH-406: Machine learning for DH

Explore les modèles thématiques, les modèles de mélange gaussien, la répartition des dirichlets latents et l'inférence variationnelle dans la compréhension des structures latentes à l'intérieur des données.

Fondements de l'apprentissage automatique DH-406: Machine learning for DH

Introduit des concepts fondamentaux d'apprentissage automatique, couvrant la régression, la classification, la réduction de dimensionnalité et des modèles générateurs profonds.