Least-angle regression

In statistics, least-angle regression (LARS) is an algorithm for fitting linear regression models to high-dimensional data, developed by Bradley Efron, Trevor Hastie, Iain Johnstone and Robert Tibshirani. Suppose we expect a response variable to be determined by a linear combination of a subset of potential covariates. Then the LARS algorithm provides a means of producing an estimate of which variables to include, as well as their coefficients. Instead of giving a vector result, the LARS solution consists of a curve denoting the solution for each value of the L1 norm of the parameter vector. The algorithm is similar to forward stepwise regression, but instead of including variables at each step, the estimated parameters are increased in a direction equiangular to each one's correlations with the residual. The advantages of the LARS method are: It is computationally just as fast as forward selection. It produces a full piecewise linear solution path, which is useful in cross-validation or similar attempts to tune the model. If two variables are almost equally correlated with the response, then their coefficients should increase at approximately the same rate. The algorithm thus behaves as intuition would expect, and also is more stable. It is easily modified to produce efficient algorithms for other methods producing similar results, like the lasso and forward stagewise regression. It is effective in contexts where p ≫ n (i.e., when the number of predictors p is significantly greater than the number of points n) The disadvantages of the LARS method include: With any amount of noise in the dependent variable and with high dimensional multicollinear independent variables, there is no reason to believe that the selected variables will have a high probability of being the actual underlying causal variables. This problem is not unique to LARS, as it is a general problem with variable selection approaches that seek to find underlying deterministic components.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Publications associées (57)

Personnes associées (11)

Unités associées (15)

Concepts associés (3)

Cours associés (11)

Séances de cours associées (37)

FIN-616: Financial Econometrics II (2020 -2024)

This course has 3 parts

We understand how to use moment based estimations to obtain the parameters for explicit or implicit models.
We learn how to estimate latent parameters in a time series cont

CS-433: Machine learning

Machine learning methods are becoming increasingly central in many sciences and applications. In this course, fundamental principles and methods of machine learning will be introduced, analyzed and pr

MGT-502: Data science and machine learning

Hands-on introduction to data science and machine learning. We explore recommender systems, generative AI, chatbots, graphs, as well as regression, classification, clustering, dimensionality reduction

Lasso (statistiques)

En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Validation croisée

La validation croisée () est, en apprentissage automatique, une méthode d’estimation de fiabilité d’un modèle fondée sur une technique d’échantillonnage. Supposons posséder un modèle statistique avec un ou plusieurs paramètres inconnus, et un ensemble de données d'apprentissage sur lequel on peut apprendre (ou « entraîner ») le modèle. Le processus d'apprentissage optimise les paramètres du modèle afin que celui-ci corresponde le mieux possible aux données d'apprentissage.

Model reduction of coupled systems based on non-intrusive approximations of the boundary response maps

Jan Sickmann Hesthaven, Niccolo' Discacciati

We propose a local, non -intrusive model order reduction technique to accurately approximate the solution of coupled multi -component parametrized systems governed by partial differential equations. Our approach is based on the approximation of the boundar ...

Lausanne2024

Saddle-to-Saddle Dynamics in Diagonal Linear Networks

Nicolas Henri Bernard Flammarion, Scott William Pesme

In this paper we fully describe the trajectory of gradient flow over diagonal linear networks in the limit of vanishing initialisation. We show that the limiting flow successively jumps from a saddle of the training loss to another until reaching the minim ...

2023

Acute TNF alpha levels predict cognitive impairment 6-9 months after COVID-19 infection

Dimitri Nestor Alice Van De Ville, Alessandra Griffa, Idris Guessous, Alexandre Cionca

Background: A neurocognitive phenotype of post-COVID-19 infection has recently been described that is characterized by a lack of awareness of memory impairment (i.e., anosognosia), altered functional connectivity in the brain's default mode and limbic netw ...

PERGAMON-ELSEVIER SCIENCE LTD2023

Régression linéaire : Inférence statistique et régularisation PHYS-467: Machine learning for physicists

Couvre le modèle probabiliste de régression linéaire et l'importance des techniques de régularisation.

Erreur de généralisation dans l'apprentissage avec des fonctionnalités aléatoires PHYS-754: Lecture series on scientific machine learning

Explore l'erreur de généralisation dans la théorie de l'apprentissage, en mettant l'accent sur les données structurées et la méthode de la réplique.

ANOVA: Partitionnement Total SS MSE-213: Probability and statistics for materials science

Couvre la méthode ANOVA, en se concentrant sur la partition de la somme totale des carrés en composantes de traitement et d'erreur, les calculs carrés moyens, les statistiques de Fisher et la distribution F.