Séance de cours
Optimiser les fonctions de perte: Gradient Descent Variants
Séances de cours associées (30)
Descente progressive
Couvre le concept de descente de gradient, un algorithme universel utilisé pour trouver le minimum d'une fonction.
Descente Coordonnée : Stratégies d’optimisation
Explore coordonner les stratégies d'optimisation de descente, en mettant l'accent sur la simplicité dans l'optimisation grâce à des mises à jour coordonnées et en discutant des implications des différentes approches.
Compréhension de la généralisation : partialité implicite et optimisation
Explore le compromis entre la complexité et le risque dans les modèles d'apprentissage automatique, les avantages de la surparamétrisation et le biais implicite des algorithmes d'optimisation.
Le paysage d'optimisation de Convex caché des réseaux neuronaux profonds
Explore le paysage d'optimisation convexe caché des réseaux neuronaux profonds, montrant la transition des modèles non convexes aux modèles convexes.
Méthodes itératives de descente : principes d'optimisation
Explore les méthodes itératives de descente dans l'optimisation, la descente en gradient, les minima locaux et les principes de convergence.
Techniques d'optimisation : Convexity in Machine Learning
Couvre les techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la convexité et ses implications pour une résolution efficace des problèmes.
Bruit de graduation : Risques lisses et non lisses
Explore l'impact du bruit de gradient sur les algorithmes d'optimisation, en se concentrant sur les fonctions de risque lisses et non lisses et la dérivation des moments de bruit de gradient.
Descente de gradient: Arrêt précoce et descente de gradient stochastique
Explique la descente en pente avec arrêt précoce et descente en pente stochastique pour optimiser l'entraînement du modèle et éviter les surajustements.
Descente progressive stochastique: Techniques d'optimisation
Explore la descente stochastique du gradient et les techniques d'optimisation non lisses pour la sparté et la détection de compression.
Techniques de retiming : optimisation et extraction d’état
Explore les techniques de resynchronisation basées sur la relaxation et les méthodes d'extraction d'état à l'aide de diagrammes de décision binaires.