Optimisation des taux de convergence: descente progressive accélérée

Cette séance de cours couvre l'optimalité des taux de convergence dans les problèmes convexes de minimisation, en mettant l'accent sur les méthodes de descente accélérée des gradients (AGD). Il traite du taux de convergence de descente des gradients, des limites inférieures théoriques de l'information et de l'algorithme de l'AGD. L'algorithme AGD-L est présenté comme une solution pour atteindre des taux de convergence optimaux. La séance de cours explore également la convergence globale de l'AGD et compare la descente des gradients avec l'AGD en termes d'hypothèses, de tailles d'étapes et de taux de convergence. De plus, on discute des méthodes adaptatives de premier ordre, de l'algorithme extra-gradient et de la descente des gradients métriques variables comme approches pour améliorer les taux de convergence sans connaître la constante de fluidité.