Séance de cours

Avantages prouvables de la surparamétrisation dans la compression du modèle

Description

Cette séance de cours traite des avantages prouvables d'une surparamétrie dans la compression des modèles, en mettant l'accent sur l'efficacité des réseaux neuronaux profonds et le processus de taille des modèles. Il couvre la motivation derrière l'efficacité des filets profonds, les principes de la taille des modèles, les enquêtes empiriques sur CIFAR10, la relation entre surparamètre et double descente, et la configuration théorique pour la compression des modèles. La principale contribution réside dans la caractérisation de la distribution du modèle, permettant l'étude de la compression du modèle et démontrant les avantages d'une surparamétrisation. La séance de cours explore également des exemples de modèles linéaires et de taille aléatoire, soulignant l'importance du recyclage pour améliorer le rendement.

À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.