Explore les bases de l'optimisation telles que les normes, la convexité et la différentiabilité, ainsi que les applications pratiques et les taux de convergence.
Couvre la régression polynôme, la descente en gradient, le surajustement, le sous-ajustement, la régularisation et la mise à l'échelle des caractéristiques dans les algorithmes d'optimisation.
Couvre les techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la convexité, les algorithmes et leurs applications pour assurer une convergence efficace vers les minima mondiaux.
Discute des techniques d'optimisation avancées, en se concentrant sur des méthodes de descente de gradient plus rapides et projetées dans l'apprentissage automatique.
Explore la descente progressive stochastique avec la moyenne, la comparant avec la descente progressive, et discute des défis dans l'optimisation non convexe et les techniques de récupération clairsemées.
