Pourquoi y a-t-il autant de points de selle? : Paysage de perte et méthodes d'optimisation

Cette séance de cours de l'instructeur explore les raisons derrière l'abondance de points de selle dans l'optimisation de l'apprentissage en profondeur. En commençant par l'argument statistique basé sur la matrice de Hesse, il approfondit l'argument géométrique impliquant des permutations. La séance de cours traite de la relation entre les minima et les points de selle, en mettant l'accent sur les points de vue statistiques et modernes. Il explique comment la symétrie de l'espace de poids contribue à la prévalence des points de selle et présente des exemples pour illustrer ces concepts. L'argument géométrique et la symétrie de l'espace de poids sont élaborés pour démontrer l'abondance des points de selle par rapport aux minima globaux. La séance de cours se termine en résumant le paysage des pertes dans les réseaux neuronaux profonds, en soulignant la présence de plusieurs minima et points de selle.