Optimisation des taux de convergence: descente progressive accélérée

Cette séance de cours s'inscrit dans l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la méthode de descente accélérée du gradient. Il couvre le taux de convergence de descente par gradient, les limites inférieures théoriques de l'information et l'algorithme de descente par gradient accéléré. La séance de cours explore la conception de méthodes de premier ordre avec des taux de convergence correspondant à des limites inférieures théoriques, comme le schéma accéléré de Nesterov. Il traite également de la convergence globale de la descente accélérée du gradient et de l'algorithme de descente variable du gradient métrique. De plus, il examine les méthodes adaptatives de premier ordre, la méthode de Newton et l'algorithme extra-gradient. La séance de cours se termine par des informations sur les performances des algorithmes d'optimisation et la méthode de gradient pour l'optimisation non-convexe.