Méthodes d'optimisation : RMSprop et ADAM

Cette séance de cours couvre les concepts de RMSprop et ADAM, deux méthodes populaires pour optimiser la descente de gradient minibatch dans les réseaux neuronaux artificiels. L'instructeur discute de la fonction d'erreur, des minima, des points de selle, de l'élan et des détails d'implémentation des algorithmes RMSprop et ADAM. La séance de cours explore également le rapport signal sur bruit dans l'évaluation du gradient stochastique et les idées fondamentales derrière RMSprop avec Nesterov Momentum. En outre, l'algorithme d'Adam est expliqué en détail, y compris la taille de l'étape, les estimations de moment et la stabilisation numérique. La séance de cours se termine par un résumé soulignant les avantages de l’élan dans les algorithmes d’optimisation et l’adaptabilité d’Adam et de ses variantes.