Gradient Descent Méthodes

Cette séance de cours couvre le rôle du calcul et l'application de la descente de gradient pour les problèmes convexes et non convexes. Les sujets abordés comprennent les sous-différentiels, la méthode de sous-gradient, la minimisation convexe lisse sans contrainte, l'estimation du maximum de vraisemblance, les méthodes de descente de gradient, les fonctions L-lisse et U-fortement convexes, l'estimation des moindres carrés, l'interprétation géométrique de la stationnarité, le taux de convergence de la descente de gradient et des exemples tels que la régression de crête, la classification d'image à l'aide. La séance de cours traite également de la nécessité de l'optimisation non convexe, des notions de convergence, des hypothèses et de la méthode du gradient, du taux de convergence et de la complexité de l'itération. Il se termine par une preuve des taux de convergence de la descente du gradient dans le cas convexe et des aperçus sur la descente du miroir et les divergences de Bregman.