Introduit des réseaux de flux, couvrant la structure du réseau neuronal, la formation, les fonctions d'activation et l'optimisation, avec des applications en prévision et finance.
Couvre l'optimisation non convexe, les problèmes d'apprentissage profond, la descente stochastique des gradients, les méthodes d'adaptation et les architectures réseau neuronales.
Explore l'optimisation des réseaux neuronaux, y compris la rétropropagation, la normalisation des lots, l'initialisation du poids et les stratégies de recherche d'hyperparamètres.
Explore les courbes de double descente et la surparamétrisation dans les modèles d'apprentissage automatique, en soulignant les risques et les avantages.
Plongez dans l'optimisation du deep learning, les défis, les variantes SGD, les points critiques, les réseaux surparamétrés et les méthodes adaptatives.
Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.
