Séance de cours

Réduction des écarts dans l'apprentissage profond

Dans cours
DEMO: enim cillum enim commodo
Cillum quis amet eu deserunt consectetur anim culpa commodo commodo laborum. Pariatur amet tempor enim exercitation. Officia eiusmod nostrud ut eiusmod deserunt minim nisi voluptate tempor enim. Officia est laborum aliquip occaecat non sunt occaecat ullamco non nostrud veniam sit consequat.
Connectez-vous pour voir cette section
Description

Cette séance de cours se penche sur les techniques de réduction de la variance dans l'apprentissage profond, en commençant par l'exploration de la descente en gradient par rapport à la descente en gradient stochastique. L'instructeur explique comment diminuer la variance tout en utilisant une taille d'étape constante et introduit le concept de descente de gradient stochastique mini-batch. La séance de cours couvre la méthode Stochastic Variance Reduce Gradient (SVRG), l'analyse de convergence et la comparaison des performances de différents algorithmes. Il se termine par une discussion sur la réduction de la variance pour les problèmes non convexes et donne des indications sur l'application des techniques de réduction de la variance dans l'apprentissage profond.

Enseignant
tempor adipisicing dolore
Non aliqua amet exercitation tempor. Nisi dolor laboris ex commodo Lorem nostrud ad dolore ea. Reprehenderit magna laborum anim laboris exercitation consequat anim aliqua aliquip deserunt. Veniam officia nisi et fugiat esse cupidatat consequat nisi culpa. Consequat ipsum et ullamco adipisicing tempor mollit esse sunt laboris. Ullamco deserunt velit eu ipsum nisi ex ea ullamco. In ex dolor irure tempor officia minim officia mollit.
Connectez-vous pour voir cette section
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Séances de cours associées (38)
Courbes de double descente : surparamétrisation
Explore les courbes de double descente et la surparamétrisation dans les modèles d'apprentissage automatique, en soulignant les risques et les avantages.
Méthodes de noyau: Réseaux neuronaux
Couvre les fondamentaux des réseaux neuronaux, en mettant l'accent sur les noyaux RBF et SVM.
Les principes fondamentaux de l'apprentissage profond
Introduit un apprentissage profond, de la régression logistique aux réseaux neuraux, soulignant la nécessité de traiter des données non linéairement séparables.
Analyse des documents : Modélisation des sujets
Explore l'analyse documentaire, la modélisation thématique et les modèles génériques pour la production de données dans l'apprentissage automatique.
Réseaux neuronaux : formation et activation
Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.
Afficher plus

Graph Chatbot

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.