Analyse de convergence: Algorithmes progressifs stochastiques

Cette séance de cours couvre l'analyse de convergence des algorithmes de gradient stochastiques pour des risques lisses sous différents modes opérationnels, y compris les mises à jour avec des échelles d'étape constantes et disparaissantes, l'échantillonnage des données avec et sans remplacement, et des approximations de gradient mini-lots. La séance de cours se penche sur les conditions sur les fonctions de risque et de perte, le comportement de convergence dans le sens moyen-carré-erreur, et l'impact des séquences de taille d'étape sur le taux de convergence. L'instructeur discute des propriétés de convergence sous différentes séquences de taille par étapes et fournit des théorèmes et des exemples pour illustrer les taux de convergence.