Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Concept
Information de Fisher
Résumé
En statistique, l'information de Fisher quantifie l'information relative à un paramètre contenue dans une distribution. Elle est définie comme l'espérance de l'information observée, ou encore comme la variance de la fonction de score. Dans le cas multi-paramétrique, on parle de matrice d'information de Fisher. Elle a été introduite par R.A. Fisher.
Soit f(x ; θ) la distribution de vraisemblance d'une variable aléatoire X (qui peut être multidimensionnelle), paramétrée par θ. Le score est défini comme la dérivée partielle de la log-vraisemblance par rapport au paramètre θ :
L'information de Fisher est alors définie comme le moment d'ordre deux de la fonction de score :
Il est possible de montrer que la fonction de score a une espérance nulle. L'information de Fisher correspond par conséquent également à la variance de la fonction de score.
Les différentes observations nous permettent d'échantillonner la fonction de densité de probabilité f(x ; θ).
Le maximum de vraisemblance consiste à maximiser la probabilité .
Si les observations sont décorrélées, la valeur la plus probable nous est donnée par le maximum de
qui est aussi le maximum de
Le passage en logarithme permet de transformer le produit en somme, ce qui nous autorise à trouver le maximum par dérivation :
Cette somme correspond pour un nombre d'observations suffisamment élevé à l'espérance mathématique.
La résolution de cette équation permet de trouver un estimateur de θ à partir du jeu de paramètre au sens du maximum de vraisemblance.
Maintenant, la question est de quantifier la précision de notre estimation. On cherche donc à estimer la forme de la distribution de probabilité de θ autour de la valeur donnée par l'estimateur .
À partir d'un développement limité à l'ordre 2, comme le terme linéaire est nul au maximum, on obtient :
où est l'information de Fisher relative à θ au point de maximum de vraisemblance.
Ceci signifie que θ suit en première approximation une loi gaussienne d'espérance et de variance
Cette variance est appelée la borne de Cramér-Rao et constitue la meilleure précision d'estimation atteignable en absence d'a priori.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Proximité ontologique
Cours associés (12)
MATH-236: Probability and statistics II
Linear statistical methods, analysis of experiments, logistic regression.
COM-406: Foundations of Data Science
We discuss a set of topics that are important for the understanding of modern data science but that are typically not taught in an introductory ML course. In particular we discuss fundamental ideas an