Structures dans l'optimisation non convexe

Cette séance de cours porte sur l'optimisation non convexe évolutive en mettant l'accent sur l'apprentissage profond, en discutant de la formulation d'optimisation pour les problèmes d'apprentissage profond, les obstacles à la formation des réseaux neuraux et la convergence, l'évitement et la vitesse de descente stochastique en gradient. Il explore également les méthodes d'adaptation stochastique de premier ordre, la descente stochastique variable des gradients métriques et les méthodes d'adaptation des gradients comme AdaGrad, RMSProp et ADAM. La séance de cours se penche sur les propriétés et la convergence d'AcceleGrad, d'AmsGrad et d'AcceleGrad, en les comparant avec les algorithmes d'optimisation traditionnels. Il examine également la performance des algorithmes d'optimisation dans les scénarios non convexes, la régularisation implicite des méthodes d'adaptation et la régularisation explicite par la stabilité électronique. La séance de cours se termine par une discussion sur les performances de généralisation et les architectures de réseaux neuronaux.