Séance de cours

Techniques de réduction des écarts

Dans cours
DEMO: mollit nulla officia culpa
Qui aute pariatur anim Lorem ex nisi fugiat id labore magna. Fugiat exercitation et laboris consequat est eiusmod eu. Quis in velit tempor aute deserunt reprehenderit ea consequat eiusmod ipsum et sunt.
Connectez-vous pour voir cette section
Description

Cette séance de cours couvre les techniques de réduction de la variance dans l'optimisation, en mettant l'accent sur les méthodes de descente en gradient (GD) et de descente en gradient stochastique (SGD). L'instructeur explique comment diminuer la variance tout en utilisant une taille d'étape constante, en introduisant des concepts comme la douceur Lipschitz et l'observation des étapes GD vs SGD. La séance de cours se penche également sur les mathématiques des données, de la théorie au calcul, avec un accent particulier sur l'apprentissage profond. Différents algorithmes et méthodes, tels que SVRG et SGD mini-batch, sont discutés pour réduire la variance des gradients stochastiques. La séance de cours explore les défis de la théorie et des applications de l'apprentissage profond, y compris l'équité, la robustesse, l'interprétation et l'efficacité énergétique.

Enseignant
ea commodo
Aute amet anim ad fugiat reprehenderit tempor consequat ad pariatur non nostrud consequat quis. Reprehenderit qui nulla dolore elit dolor cupidatat cupidatat ut ipsum ipsum ipsum. Deserunt laboris mollit incididunt nostrud ex fugiat. Eu ipsum aute magna mollit Lorem Lorem consequat. Mollit irure laborum sint cillum laborum. Est consectetur id incididunt magna ex qui fugiat dolor esse.
Connectez-vous pour voir cette section
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Séances de cours associées (35)
Deep Learning Blocks Buildings
Couvre les tenseurs, les fonctions de perte, l'autograde et les couches de convolution dans l'apprentissage profond.
Courbes de double descente : surparamétrisation
Explore les courbes de double descente et la surparamétrisation dans les modèles d'apprentissage automatique, en soulignant les risques et les avantages.
Blocs de construction du deep learning : couches linéaires
Explique les blocs de construction fondamentaux de l'apprentissage profond, en se concentrant sur les couches linéaires et les fonctions d'activation.
Modèles Vision-Langue-Action : Formation et applications
Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.
Réseaux neuronaux : formation et activation
Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.
Afficher plus

Graph Chatbot

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.