Optimisation pour le Machine Learning: Stochastic Gradient Descent

Cette séance de cours couvre l'optimisation stochastique Gradient Descent (SGD) et non-convexe dans le contexte de l'apprentissage automatique. Il explique l'algorithme de SGD, le concept d'impartialité et la comparaison du taux de convergence entre SGD et Gradient Descent. La séance de cours se penche également sur l'utilisation de gradients stochastiques délimités et sur les implications des fonctions lisses et des Hessiens délimités dans l'optimisation. En outre, il traite du comportement de descente de gradient dans les fonctions non-convexes et de l'application de mini-bloc SGD. L'importance d'une forte convexité et les propriétés de convergence de la descente du gradient sur les fonctions lisses sont également explorées.