Generalized least squares

In statistics, generalized least squares (GLS) is a method used to estimate the unknown parameters in a linear regression model when there is a certain degree of correlation between the residuals in the regression model. Least squares and weighted least squares may need to be more statistically efficient and prevent misleading inferences. GLS was first described by Alexander Aitken in 1935. In standard linear regression models one observes data on n statistical units. The response values are placed in a vector , and the predictor values are placed in the design matrix , where is a vector of the k predictor variables (including a constant) for the ith unit. The model forces the conditional mean of given to be a linear function of and assumes the conditional variance of the error term given is a known nonsingular covariance matrix . This is usually written as Here is a vector of unknown constants (known as “regression coefficients”) that must be estimated from the data. Suppose is a candidate estimate for . Then the residual vector for will be . The generalized least squares method estimates by minimizing the squared Mahalanobis length of this residual vector: where the last two terms evaluate to scalars, resulting in This objective is a quadratic form in . Taking the gradient of this quadratic form with respect to and equating it to zero (when ) gives Therefore, the minimum of the objective function can be computed yielding the explicit formula: The quantity is known as the precision matrix (or dispersion matrix), a generalization of the diagonal weight matrix. The GLS estimator is unbiased, consistent, efficient, and asymptotically normal with and . GLS is equivalent to applying ordinary least squares to a linearly transformed version of the data. To see this, factor , for instance using the Cholesky decomposition. Then if one pre-multiplies both sides of the equation by , we get an equivalent linear model where , , and . In this model , where is the identity matrix.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Publications associées (1)

Concepts associés (15)

Cours associés (53)

Séances de cours associées (405)

Log Barriers for Safe Non-convex Black-box Optimization

Andreas Krause, Ilnura Usmanova

We address the problem of minimizing a smooth function f0(x) over a compact set D defined by smooth functional constraints fi(x)≤0, i=1,…,m given noisy value measurements of fi(x). This problem arises

2019

FIN-403: Econometrics

The course covers basic econometric models and methods that are routinely applied to obtain inference results in economic and financial applications.

PHYS-467: Machine learning for physicists

Machine learning and data analysis are becoming increasingly central in sciences including physics. In this course, fundamental principles and methods of machine learning will be introduced and practi

EE-613: Machine Learning for Engineers

The objective of this course is to give an overview of machine learning techniques used for real-world applications, and to teach how to implement and use them in practice. Laboratories will be done i

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Generalized least squares

Hétéroscédasticité

En statistique, l'on parle d'hétéroscédasticité lorsque les variances des résidus des variables examinées sont différentes. Le mot provient du grec, composé du préfixe hétéro- (« autre »), et de skedasê (« dissipation»). Une collection de variables aléatoires est hétéroscédastique s'il y a des sous-populations qui ont des variabilités différentes des autres. La notion d'hétéroscédasticité s'oppose à celle d'homoscédasticité. Dans le second cas, la variance de l'erreur des variables est constante i.e. .

Hétéroskédasticité: Ch. 4a FIN-403: Econometrics

Explore l'hétéroskédasticité en économétrie, en discutant de son impact sur les erreurs standard, les estimateurs alternatifs, les méthodes d'essai et les implications pour les tests d'hypothèses.

Matrice de densité et entropie von Neumann: première intro COM-309: Quantum information processing

Introduit la matrice de densité et l'entropie von Neumann dans les systèmes quantiques.

Théorèmes de l'équivalence des matrices

Explore les théorèmes d'équivalence matricielle pour les systèmes d'équations et les solutions des moindres carrés.