Méthodes d'optimisation: convergence et compromis

Cette séance de cours couvre les méthodes d'optimisation telles que la méthode de gradient conditionnel (CGM), le gradient proximal et Frank-Wolfe, en se concentrant sur les garanties et les compromis de convergence. Il traite de la méthode de gradient conditionnel pour les objectifs fortement convexes, des garanties de convergence de CGM, des taux de convergence plus rapides, et des exemples comme la balle nucléaire-norme et la récupération de phase. La séance de cours compare également le gradient proximal avec Frank-Wolfe, présente un problème non convexe contraint de base et explore les problèmes de récupération de phase et de complétion de matrice. Il explore le rôle de la convexité dans l'optimisation, la récupération de phase en tant que problème d'achèvement de la matrice convexe et les défis de l'estimation et de la prédiction. La séance de cours se termine par une discussion sur les compromis de données temporelles, les dimensions statistiques et les techniques de réduction de la variance telles que le gradient réduit de variance stochastique (SVRG).