Descente de gradient stochastique : optimisation et convergence

Cette séance de cours couvre l'optimalité du taux de convergence, l'accélération et l'application de la descente de gradient stochastique dans les problèmes d'optimisation. En commençant par les bases de la descente en pente, l'instructeur explique le processus itératif et les critères de convergence. La séance de cours se penche ensuite sur la descente de gradient stochastique (SGD), détaillant sa mise en œuvre, ses avantages et ses propriétés de convergence. Différents scénarios, y compris les problèmes convexes et non convexes, sont discutés, ainsi que l'impact des tailles de pas sur les taux de convergence. La présentation explore également des exemples pratiques, tels que l'optimisation convexe avec des sommes finies et des problèmes synthétiques de moindres carrés. En outre, la séance de cours présente des sujets avancés tels que les variantes SGD, SGD avec la moyenne et les méthodes adaptatives pour l'optimisation stochastique, fournissant des informations sur leurs applications et les garanties de convergence.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (4)

Concepts associés (50)

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Méthode des moindres carrés

La méthode des moindres carrés, indépendamment élaborée par Legendre et Gauss au début du , permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure, à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.

Linear least squares

Linear least squares (LLS) is the least squares approximation of linear functions to data. It is a set of formulations for solving statistical problems involved in linear regression, including variants for ordinary (unweighted), weighted, and generalized (correlated) residuals. Numerical methods for linear least squares include inverting the matrix of the normal equations and orthogonal decomposition methods. The three main linear least squares formulations are: Ordinary least squares (OLS) is the most common estimator.

Generalized least squares

In statistics, generalized least squares (GLS) is a method used to estimate the unknown parameters in a linear regression model when there is a certain degree of correlation between the residuals in the regression model. Least squares and weighted least squares may need to be more statistically efficient and prevent misleading inferences. GLS was first described by Alexander Aitken in 1935. In standard linear regression models one observes data on n statistical units.

Optimisation convexe

vignette|320x320px|Optimisation convexe dans un espace en deux dimensions dans un espace contraint L'optimisation convexe est une sous-discipline de l'optimisation mathématique, dans laquelle le critère à minimiser est convexe et l'ensemble admissible est convexe. Ces problèmes sont plus simples à analyser et à résoudre que les problèmes d'optimisation non convexes, bien qu'ils puissent être NP-difficile (c'est le cas de l'optimisation copositive). La théorie permettant d'analyser ces problèmes ne requiert pas la différentiabilité des fonctions.

Moindres carrés non linéaires

Les moindres carrés non linéaires est une forme des moindres carrés adaptée pour l'estimation d'un modèle non linéaire en n paramètres à partir de m observations (m > n). Une façon d'estimer ce genre de problème est de considérer des itérations successives se basant sur une version linéarisée du modèle initial. Méthode des moindres carrés Considérons un jeu de m couples d'observations, (x, y), (x, y),...,(x, y), et une fonction de régression du type y = f (x, β).

Optimisation du double primaire: méthode extra-gradient EE-556: Mathematics of data: from theory to computation

Explore la méthode Extra-Gradient pour l'optimisation Primal-dual, couvrant les problèmes non convexes, les taux de convergence et les performances pratiques.

L’optimisation primal-dual : les fondamentaux EE-556: Mathematics of data: from theory to computation

Explore l'optimisation primal-dual, les problèmes minimax et les méthodes de montée en pente pour les algorithmes d'optimisation.

Méthodes d'optimisation: convergence et compromis EE-556: Mathematics of data: from theory to computation

Couvre les méthodes d'optimisation, les garanties de convergence, les compromis et les techniques de réduction de la variance en optimisation numérique.

Optimisation des taux de convergence: descente progressive accélérée EE-556: Mathematics of data: from theory to computation

Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.