Descente stochastique progressive

Cette séance de cours couvre le concept de descente de gradient stochastique, en se concentrant sur le processus d'optimisation avec les fonctions convexes et p-Lipschitz. Il explique l'initialisation, les étapes et les paramètres impliqués dans l'algorithme, en soulignant l'importance de choisir la taille de l'étape. La séance de cours se penche également sur la preuve de la convergence et l'application de l'algorithme dans la pratique, mettant en évidence la nature itérative du processus d'optimisation. En outre, il explore la méthode Mean-Field dans les réseaux neuronaux, mettant en évidence le rôle des neurones dans les couches cachées et les couches d'entrée.