Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Concept
Moindres carrés non linéaires
Résumé
Les moindres carrés non linéaires est une forme des moindres carrés adaptée pour l'estimation d'un modèle non linéaire en n paramètres à partir de m observations (m > n). Une façon d'estimer ce genre de problème est de considérer des itérations successives se basant sur une version linéarisée du modèle initial.
Méthode des moindres carrés
Considérons un jeu de m couples d'observations, (x, y), (x, y),...,(x, y), et une fonction de régression du type y = f (x, β). Cette fonction dépend des explicatives x mais aussi du vecteur des n paramètres β = (β, β, ..., β) avec m ≥ n. On souhaite trouver le vecteur de paramètres β qui ajuste au mieux les données, au sens des moindres carrés :
est minimisée en β, où les résidus ri sont donnés par
Le minimum de la somme des carrés des résidus S est atteint lorsque le gradient s'annule (condition nécessaire). Puisque le problème est formulé avec n paramètres, il y a donc n équations normales :
Dans un système non linéaire, les dérivées dépendent aussi bien des variables explicatives que des paramètres : il faut donc renoncer à résoudre les équations normales aussi simplement que dans le cas linéaire. On a alors recours à une résolution numérique, à l'aide d'un procédé itératif
qui fournit des approximations successives β de plus en plus proches de la vraie valeur (inconnue) des paramètres, β.
À chaque itération, le modèle initial est linéarisé par un développement de Taylor autour de β comme suit :
La matrice jacobienne J dépend des données et de l'approximation en cours, aussi change-t-elle d'une itération à l'autre. Ainsi, en termes du modèle linéarisé, et les résidus sont donnés par
Les équations normales deviennent
ou encore
Matriciellement, on en arrive à
La linéarisation permet donc d'écrire :
Il faut remarquer que l'ensemble du terme de droite dépend seulement de l'itération en cours, à savoir β, et permet donc de trouver la prochaine itération β.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Proximité ontologique