Optimisation du taux de convergence : accélération de la descente en gradient

Cette séance de cours couvre l'optimalité du taux de convergence dans la descente de gradient, les techniques d'accélération et l'algorithme de descente de gradient stochastique. Il traite du taux de convergence de la descente de gradient pour les fonctions convexes, des limites inférieures théoriques de l'information, des algorithmes de descente de gradient accéléré, des propriétés de convergence globales, des méthodes adaptatives du premier ordre et des algorithmes de descente de gradient métrique variable. La séance de cours explore également les méthodes de gradient adaptatif, AdaGrad, les taux de convergence pour AdaGrad, AcceleGrad, et la comparaison des performances des algorithmes d'optimisation pour les problèmes convexes et non convexes.