Méthodes d'optimisation dans l'apprentissage automatique

Cette séance de cours explore les méthodes d'optimisation en apprentissage automatique, en se concentrant sur la descente en gradient et la descente en gradient stochastique. L'instructeur explique l'importance de comprendre les gradients, les coûts et les efforts de calcul dans l'optimisation. La séance de cours couvre des sujets tels que le calcul de gradient complet, les gradients d'éléments individuels, les sous-gradients et la convexité. En outre, linstructeur discute du concept de sous-gradients pour les fonctions non différenciées et lutilisation de pénalités pour encourager la parcimonie dans les modèles. La séance de cours aborde également les conditions d'optimalité, la sélection de la taille des pas et le préconditionnement pour améliorer les performances d'optimisation.