Bruit de graduation : Risques lisses et non lisses

Cette séance de cours s'inscrit dans l'étude du bruit de gradient dans le contexte des fonctions de risque lisses et non lisses, explorant son impact sur les algorithmes d'optimisation. L'instructeur explique la dérivation des expressions pour les moments de premier et deuxième ordre du bruit de gradient, en soulignant ses effets sur les méthodes d'optimisation stochastique. La séance de cours aborde les conditions des risques fortement convexes et des gradients de perte de Lipschitz, soulignant l'importance de comprendre la dynamique du bruit de gradient dans la minimisation empirique et stochastique des risques. Diverses procédures d'échantillonnage, comme avec ou sans échantillonnage de remplacement et d'importance, sont discutées pour analyser le comportement du bruit de gradient. La séance de cours conclut en discutant des implications du bruit de gradient sur la convergence des algorithmes d'optimisation.