Techniques d'optimisation : Convexity in Machine Learning

Cette séance de cours présente les concepts fondamentaux de l'optimisation dans l'apprentissage automatique, en mettant l'accent sur la convexité. Il commence par un aperçu des problèmes d'optimisation, en soulignant l'importance des fonctions et des ensembles convexes. Linstructeur explique le problème général doptimisation et limportance de la modélisation mathématique dans la définition et la mesure des modèles dapprentissage automatique. Divers algorithmes d'optimisation sont discutés, y compris la descente de gradient et la descente de coordonnées, ainsi que leur développement historique. La séance de cours met en évidence les propriétés des fonctions convexes, telles que l'inégalité de Cauchy-Schwarz et la définition des ensembles convexes. L'instructeur développe la motivation derrière l'optimisation convexe, expliquant que les minima locaux dans les fonctions convexes sont également des minima globaux, ce qui est une propriété cruciale pour une résolution efficace des problèmes. La séance de cours se termine par une discussion sur la théorie de la convergence des algorithmes d'optimisation, renforçant l'importance de la convexité dans la dérivation de l'analyse générale et des garanties de convergence dans les problèmes d'optimisation.