Optimisation pour l'apprentissage automatique : descente progressive accélérée

Cette séance de cours couvre l'accélération de la descente progressive, l'optimisation sans graduation, et leurs applications dans l'apprentissage automatique. Il traite de la vitesse de descente du gradient sur les fonctions convexes lisses, du concept de descente accélérée du gradient de Nesterov, des limites d'erreur, des fonctions potentielles et du taux de convergence pour la recherche aléatoire sans dérivé. En outre, il explore les méthodes d'adaptation et autres SGD comme Adagrad, Adam et SignSGD, en soulignant leurs avantages et leurs implications pratiques.