Méthodes itératives de descente : principes d'optimisation

Cette séance de cours couvre les principes des méthodes itératives de descente en optimisation, en mettant l'accent sur la descente en gradient pour les problèmes convexes et non convexes lisses. Il explique le rôle du calcul dans les machines d'apprentissage, les estimateurs de probabilité maximale, la minimisation sans contrainte, l'optimalité approximative par rapport à l'optimalité exacte, et l'interprétation géométrique de la stationnarité. L'instructeur discute des défis auxquels sont confrontés les algorithmes d'optimisation itérative, les notions de convergence, les minima locaux et la transition de l'optimalité locale à l'optimalité mondiale. La séance de cours explore également les effets de la taille des étapes sur la vitesse de convergence et l'impact des discontinuités dans les problèmes pratiques d'optimisation.