Optimisation : descente de gradient et sous-gradients

Cette séance de cours explore les méthodes d'optimisation pour la formation de modèles d'apprentissage automatique, en se concentrant sur la descente de gradient et les sous-gradients. L'instructeur explique le processus itératif de minimiser les fonctions de perte en utilisant la recherche naïve, la descente de gradient et la descente de gradient stochastique. La séance de cours couvre le concept de sous-gradients pour les fonctions non-différenciables, fournissant un aperçu du processus doptimisation des modèles linéaires. En outre, l'instructeur introduit des techniques d'optimisation avancées telles que l'optimisation d'Adam et discute de l'importance de la parallélisation dans l'optimisation des modèles à grande échelle.