Modèles génériques : auto-attention et transformateurs

Cette séance de cours couvre des modèles génératifs axés sur l'auto-attention et les transformateurs. Les sujets abordés incluent les auto-encodeurs, les machines Boltzmann, l'entraînement masqué, les mécanismes d'attention et le principe d'entropie maximale. Les diapositives discutent en détail des méthodes d'échantillonnage, des moyens empiriques et des corrélations.