Deep Learning III

Cette séance de cours couvre la formulation d'optimisation des problèmes de formation en apprentissage profond, les défis rencontrés dans la formation des réseaux neuronaux et les concepts de la descente en gradient stochastique (SGD) et ses variantes. Il traite également des points critiques, de la propriété stricte de la selle et de la convergence de SGD vers les points critiques. En outre, il explore le paysage d'optimisation des réseaux neuronaux surparamétrés, le phénomène de surparamétrisation et les méthodes adaptatives stochastiques de premier ordre. La séance de cours se termine par une explication détaillée de l'algorithme de descente de gradient stochastique variable et des méthodes de gradient adaptatif.