Descente de gradient stochastique : analyse d’optimisation et de convergence

Cette séance de cours couvre la méthode d'optimisation de la descente de gradient stochastique (SGD) pour minimiser les fonctions non fortement convexes. Il explique le taux de convergence des itérations SGD et l'impact de la taille des pas sur la convergence. La séance de cours traite également de la fonction de perte Huber modifiée et de son calcul, ainsi que de la taille de pas optimale pour exécuter SGD afin de minimiser cette perte. Différents comportements de convergence sont comparés et expliqués, mettant en lumière les différences observées dans différents scénarios.