Encodeurs automatiques et NVIB variables

Cette séance de cours couvre le goulot d'étranglement de l'information variétale (NVIB) et les encodeurs automatiques variables (VAE). Il explique l'approche bayésienne des encodeurs automatiques, l'astuce de reparamétérisation et la taxonomie des modèles générateurs. La séance de cours se penche sur l'intractabilité de la probabilité de données dans les EAV, le concept d'inférence variationnelle et l'utilisation d'espaces latents axés sur l'attention dans les Transformateurs. Il traite également de l'importance d'induire des représentations compressées dans les données textuelles et des avantages du NVIB dans la création d'espaces de représentation en douceur. La présentation se termine par un aperçu des raisons pour lesquelles les transformateurs sont des modèles efficaces pour le traitement des langues.