Descente proximale et sous-gradiente : techniques d’optimisation

Cette séance de cours couvre les méthodes de descente proximale et sous-gradiente en optimisation pour l'apprentissage automatique. L'instructeur commence par introduire la descente de gradient proximale comme une extension de la descente de gradient projetée, expliquant comment il peut gérer des fonctions non-différenciables. La séance de cours détaille les étapes de mise à jour de l'algorithme et le concept de sous-gradients, fournissant des exemples pour illustrer ces idées. L'instructeur souligne l'importance de comprendre les taux de convergence de ces méthodes, en particulier dans le contexte des fonctions continues de Lipschitz et de la forte convexité. La séance de cours traite également de l'optimalité des méthodes de premier ordre et des conditions dans lesquelles ces taux de convergence peuvent être atteints. Tout au long de la session, l’instructeur dialogue avec le public, aborde les questions et clarifie les concepts liés aux algorithmes présentés. La séance de cours se termine par une discussion sur les implications des sous-gradients limités et les considérations pratiques pour la mise en œuvre de ces techniques d'optimisation dans les applications d'apprentissage automatique.