Discute des techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la descente de gradient stochastique et ses applications dans les problèmes contraints et non convexes.
Couvre les bases de l'optimisation contrainte, y compris les directions tangentes, les sous-problèmes de la région de confiance et les conditions d'optimalité nécessaires.
Explore la somme des polynômes carrés et la programmation semi-définie dans l'optimisation polynomiale, permettant l'approximation des polynômes non convexes avec SDP convexe.
Explore les biais implicites, la descente de gradient, la stabilité dans les algorithmes d'optimisation et les limites de généralisation dans l'apprentissage automatique.
