Régularisation de l'apprentissage automatique

Cette séance de cours couvre les concepts de la Régression Ridge et de la Régression Lasso, en mettant l'accent sur les techniques de régularisation afin d'éviter un surajustement dans les modèles d'apprentissage automatique. Il explique comment la régularisation influe sur la flexibilité du modèle et les valeurs des paramètres. Les exemples démontrent l'application de la régularisation dans le code Julia, soulignant l'importance d'ajuster les hyperparamètres et d'interpréter les résultats. De plus, il discute de l'utilisation des chemins Lasso pour visualiser l'effet des différentes valeurs de régularisation sur les coefficients de paramètre. La séance de cours se termine par des exercices pratiques sur la mise en œuvre et la compréhension de la régularisation dans les modèles d'apprentissage automatique.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (688)

Concepts associés (149)

BIO-322: Introduction to machine learning for bioengineers

Students understand basic concepts and methods of machine learning. They can describe them in mathematical terms and can apply them to data using a high-level programming language (julia/python/R).

Méthode des moindres carrés

La méthode des moindres carrés, indépendamment élaborée par Legendre et Gauss au début du , permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure, à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Regularized least squares

Regularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.

Régularisation (physique)

En physique théorique, la régularisation est une procédure ad-hoc qui consiste à modifier une grandeur physique qui présente une singularité afin de la rendre régulière. La régularisation est par exemple abondamment utilisée en théorie quantique des champs en relation avec la procédure de renormalisation, ainsi qu'en relativité générale pour le calcul du problème à deux corps en paramétrisation post-newtonienne. Le potentiel newtonien en coordonnées sphériques s'écrit : où k est une constante.

Linear least squares

Linear least squares (LLS) is the least squares approximation of linear functions to data. It is a set of formulations for solving statistical problems involved in linear regression, including variants for ordinary (unweighted), weighted, and generalized (correlated) residuals. Numerical methods for linear least squares include inverting the matrix of the normal equations and orthogonal decomposition methods. The three main linear least squares formulations are: Ordinary least squares (OLS) is the most common estimator.

Fondements de l'apprentissage automatique : régularisation et validation croisée DH-406: Machine learning for DH

Explore le surajustement, la régularisation et la validation croisée dans l'apprentissage automatique, soulignant l'importance de l'expansion des fonctionnalités et des méthodes du noyau.

Apprentissage supervisé: Méthodes de régression

Explore l'apprentissage supervisé en mettant l'accent sur les méthodes de régression, y compris l'ajustement des modèles, la régularisation, la sélection des modèles et l'évaluation du rendement.

Flexibilité des modèles et de l'échange de devises BIO-322: Introduction to machine learning for bioengineers

S'insère dans le compromis entre la flexibilité du modèle et la variation des biais dans la décomposition des erreurs, la régression polynomiale, le KNN, et la malédiction de la dimensionnalité.

Techniques de régularisation

Explore la régularisation dans des modèles linéaires, y compris la régression de crête et le Lasso, les solutions analytiques et la régression de crête polynomiale.

Apprentissage supervisé : Régression linéaire BIO-322: Introduction to machine learning for bioengineers

Couvre l'apprentissage supervisé en mettant l'accent sur la régression linéaire, y compris des sujets comme la classification numérique, la détection des pourriels et la prédiction de la vitesse du vent.