Optimisation des taux de convergence : Descente de gradient accélérée/stochastique

Cette séance de cours couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes. Il discute de la nécessité de l'optimisation non convexe, de la récupération de phase, de la classification d'images à l'aide de réseaux neuronaux et des taux de convergence des algorithmes de descente de gradient. La séance de cours explore également l'interprétation géométrique de la stationnarité, la récupération de phase pour la ptychographie de Fourier et la formulation de problèmes de classification binaire. Diverses formulations et exemples d'optimisation sont présentés, y compris la régression des crêtes et la récupération de phase pour la ptychographie de Fourier. La séance de cours se termine par des discussions sur les performances des algorithmes d'optimisation, la convergence de la descente de gradient stochastique et les variantes populaires de la descente de gradient stochastique.