Kernel de Tangent neuronal: Généralisation dans l'apprentissage profond

Cette séance de cours explore le concept du noyau tangent neuronal (NTK) dans l'apprentissage profond, montrant comment il converge vers une valeur constante à mesure que la largeur du réseau neuronal approche l'infini. Il examine l'impact de la taille du réseau sur la généralisation, en soulignant le rôle du bruit aléatoire et des fluctuations au cours de la formation et de l'initialisation. La séance de cours se penche également sur le comportement asymptotique de la généralisation à mesure que le nombre de paramètres augmente, démontrant la variance de la sortie et sa relation avec la taille du réseau. Diverses mesures de généralisation sont analysées, révélant des patrons tels que les pics et les pourritures. La présentation se termine par des réflexions sur le comportement de vastes réseaux neuraux sous descente en gradient et leur évolution en modèles linéaires.