Gradient Descent Methods: Théorie et calcul

Cette séance de cours couvre les principes des méthodes de descente itératives, en se concentrant sur la descente de gradient pour les problèmes convexes lisses et non convexes. Il explique le rôle du calcul dans les machines d'apprentissage, la stratégie itérative de base, les directions de descente et les taux de convergence de la descente du gradient. La séance de cours explore également l'interprétation géométrique de la stationnarité, les minima locaux et les défis rencontrés par les algorithmes d'optimisation itératifs. Des exemples tels que l'estimation du maximum de vraisemblance, les estimateurs M et la régression des crêtes sont utilisés pour illustrer les concepts abordés. Les taux de convergence des différentes séquences sont explorés, ce qui donne un aperçu de la vitesse de convergence des problèmes d'optimisation.