NFNets: Suppression du batchNorm pour la reconnaissance de l'image à haut rendement

Cette séance de cours traite des défis de la normalisation par lots dans ResNets, proposant une approche alternative appelée NFNets. Il explore les avantages de BatchNorm, les inconvénients qu'il introduit et la façon dont NFNets s'attaque à ces problèmes en réduisant la branche résiduelle, à l'aide de coupures de gradient adaptatives, de régularisation explicite et de standardisation du poids à l'échelle. La présentation porte sur l'impact de ces modifications sur la propagation des signaux, l'entraînement en gros lots, la régularisation implicite et l'élimination des déplacements moyens dans les réseaux ReLU. Il conclut en montrant les résultats d'ImageNet des NFNets, démontrant leur performance et leur efficacité supérieures aux modèles existants.