Séance de cours

Paysage et généralisation dans l'apprentissage profond

Description

Cette séance de cours explore le paysage des pertes et la performance dans l'apprentissage profond, en mettant l'accent sur les défis de la classification des données dans de grandes dimensions et la révolution dans l'intelligence artificielle. Il s'inscrit dans le paysage hautement dimensionnel et non convexe de l'apprentissage profond, en discutant du rôle de la surparamétrisation et de l'impact sur la généralisation. La séance de cours couvre également la quantification des fluctuations induites par l'initialisation, le noyau tangent neuronal et la description hydrodynamique de l'apprentissage des caractéristiques. En outre, il analyse le diagramme de phase pour l'apprentissage profond, le rôle de la surparamétrisation et la comparaison des performances entre les différents régimes. La clé à retenir est l'importance de la transition de brouillage et la performance optimale obtenue à proximité.

À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.