Les arbitrages d’optimisation : réduction des écarts et dimension statistique

Cette séance de cours couvre les compromis entre le temps et les données en optimisation, en se concentrant sur les techniques de réduction de la variance et la dimension statistique des cônes convexes. Il discute des conditions de récupération exacte dans des cas silencieux, des propriétés de dimension statistique, des résultats numériques et des algorithmes d'optimisation tels que Gradient Descent et Stochastic Gradient Descent. La séance de cours explore également l'impact de la taille de l'échantillon sur les taux de convergence et les erreurs statistiques, ainsi que des techniques telles que le mini-lot SGD et SVRG pour la réduction de la variance. L'analyse de la convergence et les considérations de complexité pour différentes méthodes d'optimisation sont également présentées.