Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur GraphSearch.
Concept
Régression non paramétrique
Résumé
La régression non paramétrique est une forme d'analyse de la régression dans lequel le prédicteur, ou fonction d'estimation, ne prend pas de forme prédéterminée, mais est construit selon les informations provenant des données. La régression non paramétrique exige des tailles d'échantillons plus importantes que celles de la régression basée sur des modèles paramétriques parce que les données doivent fournir la structure du modèle ainsi que les estimations du modèle.
On dispose de données numériques que l'on suppose corrélées. Une des grandeurs, notée , est appelée variable expliquée. Les autres sont regroupées dans une variable dite explicative qui est un vecteur :
On dispose de situations ( jeux de valeurs) formant un nuage de points :
La régression consiste à trouver une fonction, appelée prédicteur
telle que le résidu
soit le « plus petit possible » ; on estime alors que le prédicteur « décrit bien » les données. On peut ainsi écrire
ou encore
Dans le cas de la régression paramétrique, on part d'un prédicteur dont la forme générale est connue. C'est une fonction qui s'exprime par un jeu de paramètre avec . Le cas le plus simple est celui de la régression linéaire :
et l'on cherche à minimiser le résidu quadratique
Dans le cas de la régression non paramétrique, on ne part pas d'une forme de fonction connue. Le cas le plus simple est celui du lissage d'une courbe : à partir du nuage de points initial, on détermine un nouveau nuage de point présentant des variations moins abruptes (dérivable).
Le modèle additif consiste à simplifier la recherche du prédicteur en considérant que c'est la somme de fonctions d'une seule variable :
où les fonctions sont des fonctions « lisses » (dérivables). Chaque fonction est estimée à partir des données.
Il existe des variations autour de ce concept :
modèle semi-paramétrique : certaines fonctions sont linéaires, ;
modèle avec interactions : on introduit dans la somme des fonctions de deux variables .
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Publications associées (8)
Concepts associés (5)
Régression locale
La régression locale, ou LOESS, est une méthode de régression non paramétrique fortement connexe qui combine plusieurs modèles de régression multiple au sein d'un méta-modèle qui repose sur la méthode des k plus proches voisins. « LOESS » est, en anglais, l'acronyme de « LOcally Estimated Scatterplot Smoothing ». La régression locale est une alternative possible aux méthodes habituelles de régression, comme la régression par les moindres carrés linéaire ou non linéaire, dans les cas où ces dernières s'avèrent mal adaptées.
Régression non paramétrique
La régression non paramétrique est une forme d'analyse de la régression dans lequel le prédicteur, ou fonction d'estimation, ne prend pas de forme prédéterminée, mais est construit selon les informations provenant des données. La régression non paramétrique exige des tailles d'échantillons plus importantes que celles de la régression basée sur des modèles paramétriques parce que les données doivent fournir la structure du modèle ainsi que les estimations du modèle. On dispose de données numériques que l'on suppose corrélées.
Régression linéaire
En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.