Séance de cours

Deep Learning III

Description

Cette séance de cours couvre la formulation d'optimisation des problèmes de formation en apprentissage profond, les défis rencontrés dans la formation des réseaux neuronaux et les concepts de la descente en gradient stochastique (SGD) et ses variantes. Il traite également des points critiques, de la propriété stricte de la selle et de la convergence de SGD vers les points critiques. En outre, il explore le paysage d'optimisation des réseaux neuronaux surparamétrés, le phénomène de surparamétrisation et les méthodes adaptatives stochastiques de premier ordre. La séance de cours se termine par une explication détaillée de l'algorithme de descente de gradient stochastique variable et des méthodes de gradient adaptatif.

À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Graph Chatbot

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.