Descente Coordonnée: Techniques d'Optimisation Efficace

Cette séance de cours se concentre sur la descente des coordonnées, une méthode pour optimiser les fonctions en mettant à jour une coordonnée à la fois tout en gardant les autres fixes. L'instructeur commence par discuter des limites de la méthode de Newton, en particulier son coût de calcul dû à la nécessité de calculer et d'inverser la matrice de Hesse. La séance de cours présente la méthode sécante comme une alternative sans dérivé, qui se rapproche des gradients en utilisant des différences finies. L'instructeur explique ensuite le concept de descente des coordonnées, détaillant son objectif de minimiser une fonction en modifiant une coordonnée à la fois. Les variantes de descente des coordonnées, y compris les tailles de marche basées sur le gradient et la minimisation exacte des coordonnées, sont explorées. La séance de cours couvre également l'analyse de la convergence, soulignant l'importance de la douceur des coordonnées et de la forte convexité. La condition de Polyak-Lojasiewicz est introduite, fournissant un aperçu des taux de convergence linéaire. L'instructeur conclut en discutant des applications de la descente coordonnée dans l'apprentissage automatique, en soulignant son efficacité dans la formation de modèles linéaires généralisés et sa pertinence dans les problèmes d'optimisation modernes.