Proximal Gradient Descent: Techniques d'optimisation dans l'apprentissage automatique

Cette séance de cours couvre les principes de la descente de gradient proximale, une technique d'optimisation clé dans l'apprentissage automatique. Cela commence par une introduction aux problèmes d'optimisation composite, où les fonctions objectives sont exprimées comme la somme d'une fonction «gentille» et d'un terme «simple» qui peut ne pas être différentiable. L'instructeur explique les propriétés de convergence de la descente du gradient proximal, en soulignant son efficacité dans la gestion des fonctions non-différenciables. La séance de cours détaille le processus d'itération de l'algorithme, définissant la cartographie proximale et son rôle dans l'optimisation. Le concept de sous-gradients est introduit, fournissant un cadre pour l'optimisation lorsque les fonctions ne sont pas différentiables. L'instructeur discute de la caractérisation de la convexité par des sous-gradients et de la différentiabilité des fonctions convexes. La séance de cours se termine par une discussion sur l'optimalité des méthodes de premier ordre et les implications d'une forte convexité sur les taux de convergence, soulignant l'importance des sous-gradients limités pour une optimisation efficace. Dans l'ensemble, cette séance de cours fournit un aperçu complet de la descente du gradient proximal et de ses applications dans l'optimisation de l'apprentissage automatique.