Couvre le concept de descente de gradient dans les cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif.
Fournit un aperçu des méthodes de gradient conjugué, y compris le préconditionnement, le gradient conjugué non linéaire et la décomposition des valeurs singulières.
Explore les méthodes d'optimisation dans l'apprentissage automatique, en mettant l'accent sur les gradients, les coûts et les efforts informatiques pour une formation efficace des modèles.
Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.
Explore l'optimisation Conjugate Gradient, couvrant les cas quadratiques et non linéaires, les conditions Wolfe, BFGS, les algorithmes CG et la symétrie matricielle.
