Descente progressive stochastique: Techniques d'optimisation

Cette séance de cours couvre la descente progressive stochastique (SGD) avec la moyenne, en la comparant avec la descente progressive (GD). Il explique la motivation à utiliser la moyenne pour réduire les effets d'oscillation dans les problèmes d'optimisation. La séance de cours traite également de différents types de moyennes et de leur impact sur les taux de convergence. En outre, il explore l'application de SGD dans les problèmes d'optimisation à grande échelle et les avantages d'utiliser des variantes comme Mini-batch SGD et SGD avec Momentum. La séance de cours se penche sur les défis de l'optimisation stochastique non-convexe et la performance de SGD dans de tels scénarios. Il se termine par une discussion sur les techniques de récupération éparses et la méthode d'optimisation Lasso pour résoudre les problèmes de minimisation convexe non lisses.