Séance de cours
Descente de gradient: Arrêt précoce et descente de gradient stochastique
Séances de cours associées (28)
Réseaux neuronaux multicouches: Deep Learning
Couvre les fondamentaux des réseaux neuronaux multicouches et de l'apprentissage profond.
Convexité et convergence fortes
Explore le rôle de la convexité forte dans les taux de convergence plus rapides pour les algorithmes d'optimisation.
Optimisation dans l'apprentissage automatique: Gradient Descent
Couvre l'optimisation dans l'apprentissage automatique, en mettant l'accent sur la descente par gradient pour la régression linéaire et logistique, la descente par gradient stochastique et des considérations pratiques.
Optimisation : descente de gradient et sous-gradients
Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.
Optimisation des taux de convergence: descente progressive accélérée
Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.
Gradient Descent: Techniques d'optimisation
Explore la descente en gradient, les fonctions de perte et les techniques d'optimisation dans la formation en réseau neuronal.
Optimisation des taux de convergence : Descente de gradient accélérée/stochastique
Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.
Méthode de Newton: Optimisation et Indéfinité
Couvre la méthode d'optimisation de Newton et discute des mises en garde de l'indéfinissité dans les problèmes d'optimisation.
Réseaux neuronaux : formation et optimisation
Explore la formation et l'optimisation des réseaux neuronaux, en abordant des défis tels que les fonctions de perte non convexes et les minima locaux.
Optimisation sans contraintes : méthode de graduation
Couvre l'optimisation sans contraintes en utilisant la méthode de gradient pour trouver le minimum de la fonction.