Fournit un aperçu des techniques d'optimisation, en se concentrant sur la descente de gradient et les propriétés des fonctions convexes dans l'apprentissage automatique.
Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.
Couvre le concept de descente de gradient dans les cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif.
Couvre les méthodes d'optimisation, les garanties de convergence, les compromis et les techniques de réduction de la variance en optimisation numérique.
Discute des techniques d'optimisation avancées, en se concentrant sur des méthodes de descente de gradient plus rapides et projetées dans l'apprentissage automatique.
Introduit des bases d'optimisation, couvrant la régression logistique, les dérivés, les fonctions convexes, la descente de gradient et les méthodes de second ordre.
