Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur GraphSearch.
Concept
Information de Fisher
Résumé
En statistique, l'information de Fisher quantifie l'information relative à un paramètre contenue dans une distribution. Elle est définie comme l'espérance de l'information observée, ou encore comme la variance de la fonction de score. Dans le cas multi-paramétrique, on parle de matrice d'information de Fisher. Elle a été introduite par R.A. Fisher.
Soit f(x ; θ) la distribution de vraisemblance d'une variable aléatoire X (qui peut être multidimensionnelle), paramétrée par θ. Le score est défini comme la dérivée partielle de la log-vraisemblance par rapport au paramètre θ :
L'information de Fisher est alors définie comme le moment d'ordre deux de la fonction de score :
Il est possible de montrer que la fonction de score a une espérance nulle. L'information de Fisher correspond par conséquent également à la variance de la fonction de score.
Les différentes observations nous permettent d'échantillonner la fonction de densité de probabilité f(x ; θ).
Le maximum de vraisemblance consiste à maximiser la probabilité .
Si les observations sont décorrélées, la valeur la plus probable nous est donnée par le maximum de
qui est aussi le maximum de
Le passage en logarithme permet de transformer le produit en somme, ce qui nous autorise à trouver le maximum par dérivation :
Cette somme correspond pour un nombre d'observations suffisamment élevé à l'espérance mathématique.
La résolution de cette équation permet de trouver un estimateur de θ à partir du jeu de paramètre au sens du maximum de vraisemblance.
Maintenant, la question est de quantifier la précision de notre estimation. On cherche donc à estimer la forme de la distribution de probabilité de θ autour de la valeur donnée par l'estimateur .
À partir d'un développement limité à l'ordre 2, comme le terme linéaire est nul au maximum, on obtient :
où est l'information de Fisher relative à θ au point de maximum de vraisemblance.
Ceci signifie que θ suit en première approximation une loi gaussienne d'espérance et de variance
Cette variance est appelée la borne de Cramér-Rao et constitue la meilleure précision d'estimation atteignable en absence d'a priori.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Personnes associées (12)
Cours associés (18)
MATH-236: Probability and statistics II
Linear statistical methods, analysis of experiments, logistic regression.
EE-411: Fundamentals of inference and learning
This is an introductory course in the theory of statistics, inference, and machine learning, with an emphasis on theoretical understanding & practical exercises. The course will combine, and alternat
Séances de cours associées (112)
Probabilité maximale, MSE, Fisher Information, Cramér-Rao Bound
Explique l'estimation de maximum de vraisemblance, MSE, Fisher information, et Cramér-Rao lié dans l'inférence statistique.
ANOVA: Partitionnement Total SS
Couvre la méthode ANOVA, en se concentrant sur la partition de la somme totale des carrés en composantes de traitement et d'erreur, les calculs carrés moyens, les statistiques de Fisher et la distribution F.
Estimation : Estimateur linéaire
Explore l'estimation linéaire, les critères optimaux et le principe d'orthogonalité pour de bons choix en matière d'estimation.
MOOCs associés (10)
Initiation à la Programmation en C++ [retired]
Le cours suivi propose une initiation aux concepts de base de la programmation impérative tels que : variables, expressions, structures de contrôle, fonctions/méthodes, en les illustrant dans la synta
Introduction à la Programmation Orientée Objet (en C++) [retired]
Le cours suivi propose une introduction aux concepts de base de la programmation orientée objet tels que : encapsulation et abstraction, classes/objets, attributs/méthodes, héritage, polymorphisme, ..
Projet de programmation en C++
The purpose of this MOOC is to offer a complementary capstone project to our existing MOOCs in introduction to programming. This will offer the students the possibility to both stabilize the already a