Paysage et généralisation dans l'apprentissage profond

Cette séance de cours explore le paysage des pertes et la performance dans l'apprentissage profond, en mettant l'accent sur les défis de la classification des données dans de grandes dimensions et la révolution dans l'intelligence artificielle. Il s'inscrit dans le paysage hautement dimensionnel et non convexe de l'apprentissage profond, en discutant du rôle de la surparamétrisation et de l'impact sur la généralisation. La séance de cours couvre également la quantification des fluctuations induites par l'initialisation, le noyau tangent neuronal et la description hydrodynamique de l'apprentissage des caractéristiques. En outre, il analyse le diagramme de phase pour l'apprentissage profond, le rôle de la surparamétrisation et la comparaison des performances entre les différents régimes. La clé à retenir est l'importance de la transition de brouillage et la performance optimale obtenue à proximité.