Séance de cours
Mise à jour de poids: entrée moyenne et problème de biais
Description
Cette séance de cours couvre l'étape de mise à jour du poids dans les réseaux neuronaux, en se concentrant sur le problème moyen de décalage d'entrée et de biais qui se pose avec les unités linéaires rectifiées (ReLU) dans les couches cachées. Il traite de l'impact sur les mises à jour de poids, le problème pour ReLU et d'autres unités avec des entrées non négatives, et la solution fournie par Shifted Exponential Linear Units (SELU). L'instructeur souligne l'importance d'une initialisation correcte pour éviter les problèmes de gradient et de linéarité.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.