Structures dans l'optimisation non convexe

Cette séance de cours se décline en une optimisation évolutive non convexe, axée sur l'apprentissage profond. Il couvre la formulation d'optimisation pour les problèmes de formation en profondeur, les défis rencontrés dans les réseaux de formation neuronale et la classification des points critiques. L'instructeur discute de la stricte propriété de la selle, de la convergence de la stochastique Gradient Descent (SGD) et de l'évitement des points de selle. En outre, la séance de cours explore la vitesse de convergence vers les minimisateurs locaux, l'impact de la réduction de la taille des étapes dans la pratique, et les phénomènes liés aux réseaux neuronaux et à la surparamétrisation. Diverses méthodes adaptatives de premier ordre comme AdaGrad et RMSProp sont expliquées, en soulignant leur rôle dans l'optimisation de la descente du gradient.