Modèles de diffusion et robustesse

Cette séance de cours couvre les mathématiques derrière les modèles de diffusion et leur application pour résoudre les difficultés de la formation des Réseaux Adversaires Généraux (RAG). Il se penche sur les défis de la formation GAN, la formulation des GAN Wasserstein et l'application de modèles de diffusion pour améliorer la robustesse. L'instructeur discute des fondements théoriques des modèles générateurs basés sur les scores à l'aide des équations différentielles stochastiques (EPS) et explore les concepts de stabilité de perturbation, d'estimation constante de Lipschitz et de régimes d'entraînement paresseux dans l'apprentissage profond. La séance de cours se termine par des réflexions sur l'impact des choix d'architecture de réseau neuronal sur la robustesse et les compromis entre la largeur, la profondeur et l'initialisation pour atteindre la robustesse moyenne des cas.