Descente stochastique progressive

Cette séance de cours couvre le concept de descente du gradient stochastique, où l'algorithme choisit un point initial et le met à jour en utilisant des gradients stochastiques. Il traite de l'impartialité, de la convexité et de la comparaison avec la descente en gradient complet. La séance de cours explore également le taux de convergence, les gradients stochastiques limités, et les implications d'une forte convexité. En outre, il se penche sur les défis de la descente en gradient dans le monde non convexe et les avantages de la descente en gradient stochastique mini-batch. Le contenu s'étend aux fonctions lisses, aux Hessiens délimités, et à la convergence de descente de gradient sur les fonctions lisses. La séance de cours se termine par des idées sur le comportement de descente de gradient dans l'optimisation non convexe.