Séance de cours

Deep Learning III

Description

Cette séance de cours couvre la formulation d'optimisation des problèmes de formation en apprentissage profond, les défis rencontrés dans la formation des réseaux neuronaux et les concepts de la descente en gradient stochastique (SGD) et ses variantes. Il traite également des points critiques, de la propriété stricte de la selle et de la convergence de SGD vers les points critiques. En outre, il explore le paysage d'optimisation des réseaux neuronaux surparamétrés, le phénomène de surparamétrisation et les méthodes adaptatives stochastiques de premier ordre. La séance de cours se termine par une explication détaillée de l'algorithme de descente de gradient stochastique variable et des méthodes de gradient adaptatif.

À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.