Méthode des moindres carrés ordinaire

Résumé

vignette|Graphique d'une régression linéaire La méthode des moindres carrés ordinaire (MCO) est le nom technique de la régression mathématique en statistiques, et plus particulièrement de la régression linéaire. Il s'agit d'un modèle couramment utilisé en économétrie. Il s'agit d'ajuster un nuage de points {Y_i, X_i}_{i=1,...,n} selon une relation linéaire, prenant la forme de la relation matricielle Y = X \beta + \epsilon, où \epsilon est un terme d'erreur. La méthode des moindres carrés consiste à minimiser la somme des carrés des écarts, écarts pondérés dans le cas multidimensionnel, entre chaque point du nuage de régression et son projeté, parallèlement à l'axe des ordonnées, sur la droite de régression. Lorsque la matrice X se décompose en [1;X_1], on parle de régression linéaire univariée (régression linéaire). Lorsqu'il y a plusieurs régresseurs dans la matrice X, on a plutôt affaire à une régress

Source officielle

https://fr.wikipedia.org/wiki/M%C3%A9thode_des_moindres_carr%C3%A9s_ordinaire

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Publications associées (16)

Publications associées

Chargement

Personnes associées

Chargement

Unités associées

Chargement

Concepts associés (82)

Concepts associés

Chargement

Cours associés (38)

Cours associés

Chargement

Séances de cours associées (122)

Séances de cours associées

Chargement

, ,

Motivated by the recent successes of neural networks that have the ability to fit the data perfectly \emph{and} generalize well, we study the noiseless model in the fundamental least-squares setup. We assume that an optimum predictor fits perfectly inputs and outputs

\langle \theta_* , \phi(X) \rangle = Y

, where

\phi(X)

stands for a possibly infinite dimensional non-linear feature map. To solve this problem, we consider the estimator given by the last iterate of stochastic gradient descent (SGD) with constant step-size. In this context, our contribution is two fold: (i) \emph{from a (stochastic) optimization perspective}, we exhibit an archetypal problem where we can show explicitly the convergence of SGD final iterate for a non-strongly convex problem with constant step-size whereas usual results use some form of average and (ii) \emph{from a statistical perspective}, we give explicit non-asymptotic convergence rates in the over-parameterized setting and leverage a \emph{fine-grained} parameterization of the problem to exhibit polynomial rates that can be faster than

O(1/T)

. The link with reproducing kernel Hilbert spaces is established.

2021

Chargement

The article develops the approach of Ferro and Segers (2003) to the estimation of the extremal index, and proposes the use of a new variable decreasing the bias of the likelihood based on the point process character of the exceedances. Two estimators are discussed: a maximum likelihood estimator and an iterative least squares estimator based on the normalized gaps between clusters. The first provides a flexible tool for use with smoothing methods. A diagnostic is given for the condition under which maximum likelihood is valid. The performance of the new estimators were tested by extensive simulations. An application to the Central England temperature series demonstrates the use of the maximum likelihood estimator together with smoothing methods.

2007

Chargement

Likelihood estimation of the extremal index

Mária Süveges

Springer, Springer US; http://www.springer-ny.com2007

Chargement

, ,

\langle \theta_* , \phi(X) \rangle = Y

, where

\phi(X)

O(1/T)

. The link with reproducing kernel Hilbert spaces is established.

2021