Optimisation non convexe : techniques et applications

Cette séance de cours se concentre sur l'optimisation non convexe, un domaine critique de l'apprentissage automatique. Il commence par un aperçu de la descente en pente appliquée aux fonctions lisses, en discutant des conditions dans lesquelles elle peut converger vers un minimum global malgré la présence de minima locaux et de points de selle. L'instructeur souligne l'importance de l'analyse de trajectoire, ce qui aide à comprendre le comportement de descente de gradient à partir de différents points de départ. La séance de cours couvre également les modèles linéaires avec plusieurs sorties et le processus de minimisation de l'erreur des moindres carrés, illustrant comment calculer des matrices de poids optimales. En outre, la discussion s'étend aux réseaux neuronaux linéaires profonds, en soulignant leur dynamique d'entraînement et les défis posés par la non-convexité. La séance de cours se termine par une analyse de la convergence, détaillant les conditions nécessaires à la descente du gradient pour assurer la convergence à un minimum global, et les implications des Hesses bornées le long de la trajectoire. Dans l'ensemble, cette séance de cours fournit des informations essentielles sur les complexités de l'optimisation non convexe dans des contextes d'apprentissage automatique.