Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.
Couvre la régression polynôme, la descente en gradient, le surajustement, le sous-ajustement, la régularisation et la mise à l'échelle des caractéristiques dans les algorithmes d'optimisation.
Couvre l'optimisation non convexe, les problèmes d'apprentissage profond, la descente stochastique des gradients, les méthodes d'adaptation et les architectures réseau neuronales.
Explore le compromis entre la complexité et le risque dans les modèles d'apprentissage automatique, les avantages de la surparamétrisation et le biais implicite des algorithmes d'optimisation.
