Descente de gradient stochastique: techniques d'optimisation non convexes

Cette séance de cours couvre la descente de gradient stochastique (SGD) et son application à l'optimisation non convexe. Il commence par une introduction à SGD, expliquant son efficacité dans la gestion des fonctions objectives structurées par somme, où la fonction de coût est dérivée de multiples observations. L'instructeur détaille l'algorithme, en soulignant les avantages de l'utilisation de gradients stochastiques sur des gradients complets, ce qui réduit considérablement les coûts de calcul. La séance de cours explore en outre le concept d'impartialité dans les gradients stochastiques et présente des théorèmes concernant les taux de convergence dans diverses conditions, y compris les gradients stochastiques bornés et la forte convexité. La discussion s'étend au mini-lot SGD, soulignant ses avantages dans la réduction de la variance et la parallélisation. La séance de cours aborde également les défis de l'optimisation non convexe, tels que les minima locaux et les points de selle, et présente les concepts de fonctions lisses et de hessois bornés. Enfin, l'instructeur discute des implications de ces techniques dans l'apprentissage automatique, fournissant une compréhension complète des stratégies d'optimisation dans des scénarios complexes.