Introduit des opérateurs proximaux, des méthodes de gradient et une optimisation contrainte, explorant leur convergence et leurs applications pratiques.
Couvre la régression polynôme, la descente en gradient, le surajustement, le sous-ajustement, la régularisation et la mise à l'échelle des caractéristiques dans les algorithmes d'optimisation.
Discute de la méthode de gradient pour l'optimisation, en se concentrant sur son application dans l'apprentissage automatique et les conditions de convergence.
Explore la descente progressive stochastique avec la moyenne, la comparant avec la descente progressive, et discute des défis dans l'optimisation non convexe et les techniques de récupération clairsemées.
