Réseaux neuronaux sous SGD

Cette séance de cours couvre l'optimisation des réseaux neuronaux en utilisant la descente de gradient stochastique (SGD). L'instructeur explique le concept de risque double par rapport au risque empirique, l'évolution de la sparsity, et la vitesse et la direction du flux de gradient. La séance de cours explore la relation entre le gradient et la vitesse, la discrétisation des équations et la divergence dans le contexte des réseaux neuronaux.