Réseaux profonds versus réseaux peu profonds: réseaux neuronaux artificiels et apprentissage profond

Cette séance de cours explore la comparaison entre les réseaux profonds et les réseaux peu profonds dans le contexte des réseaux de neurones artificiels et de l'apprentissage profond. Il explore les raisons pour lesquelles les réseaux profonds fonctionnent mieux sur les problèmes du monde réel, abordant des sujets tels que le paysage des pertes, les méthodes d'optimisation, l'élan, RMSprop, ADAM et le théorème du déjeuner sans gratuit. La séance de cours traite également du concept de représentation distribuée, du nombre de régions sculptées par les hyperplans dans différents espaces d'entrée et de la performance des réseaux profonds dans le traitement des tâches de classification.