Techniques d'optimisation: Convexité et algorithmes dans l'apprentissage automatique

Cette séance de cours présente les concepts fondamentaux de l'optimisation dans l'apprentissage automatique, en mettant l'accent sur la convexité et sa signification. L'instructeur décrit la structure du cours, en soulignant l'importance des algorithmes d'optimisation, y compris la descente de gradient et ses variantes. La discussion couvre la modélisation mathématique des problèmes d'optimisation, en soulignant la distinction entre les aspects théoriques et pratiques. La séance de cours explore les propriétés des fonctions et des ensembles convexes, expliquant pourquoi la convexité est cruciale pour garantir que les minima locaux sont également des minima globaux. L'instructeur présente diverses méthodes d'optimisation, y compris la descente de coordonnées et la descente de gradient stochastique, et discute de leur développement historique et de leurs applications dans l'apprentissage automatique. L'importance de comprendre les taux de convergence de ces algorithmes est également soulignée, ainsi que les compromis informatiques impliqués dans le choix de la bonne technique d'optimisation. La session se termine par un aperçu de la minimisation contrainte et des conditions dans lesquelles les minima globaux peuvent être garantis, ouvrant la voie à une exploration plus approfondie des techniques d'optimisation dans les séance de courss suivantes.