Optimisation : Descente progressive

Cette séance de cours couvre le concept d'optimisation dans l'apprentissage automatique, en mettant l'accent sur l'algorithme Gradient Descent. Il explique comment minimiser une fonction de coût en actualisant itérativement les paramètres dans la direction opposée du gradient. La séance de cours traite des défis de la recherche de grands espaces de paramètres par grille et introduit le concept de descente par gradient pour trouver les paramètres optimaux. Il s'inscrit également dans la motivation théorique derrière l'algorithme, l'utilisation de la descente stochastique du gradient, et le rôle des subgradients dans l'optimisation non-smooth.