Théorie de l'estimation

En statistique, la théorie de l'estimation s'intéresse à l'estimation de paramètres à partir de données empiriques mesurées ayant une composante aléatoire. Les paramètres décrivent un phénomène physique sous-jacent tel que sa valeur affecte la distribution des données mesurées. Un estimateur essaie d'approcher les paramètres inconnus à partir des mesures. En théorie de l'estimation, deux approches sont généralement considérées: l'approche probabiliste (décrite ici) suppose que les données mesurées sont aléatoires avec une distribution de probabilités dépendant des paramètres d'intérêt l'approche ensembliste suppose que le vecteur des données mesurées appartient à un ensemble qui dépend du vecteur des paramètres. On souhaite estimer la proportion d'une population d'électeurs qui va voter pour un candidat donné dans une élection. Cette proportion est le paramètre recherché ; l'estimaion est basé sur un petit échantillon aléatoire de votants. De façon alternative, on veut évaluer la probabilité d'un électeur de voter pour un candidat particulier, en se basant sur des données démographiques, comme son âge. Avec un radar, on veut trouver la taille des objets (avions, bateaux, etc.) en analysant le temps aller-retour des échos reçus d'ondes pulsées. Comme les ondes réfléchies sont toutes perturbées par un bruit électrique, leurs valeurs mesurées sont aléatoires, et le temps de transit doit être estimé. De façon générale, les mesures de signaux électriques sont souvent associés à un bruit. Pour un modèle donné, plusieurs "ingrédients" statistiques sont requis pour implémenter l'estimateur. Le premier est un échantillon statistique – un ensemble de données discrètes dans un vecteur aléatoire de taille N : on associe un vecteur de M paramètres : dont on veut estimer les valeurs. Enfin, il faut la densité de probabilité, discrète ou continue, de la loi sous-jacente de probabilité qui ont généré les données, et donc conditionnelle aux valeurs des paramètres : Il est aussi possible pour les paramètres d'avoir une loi de probabilité (voir statistiques bayésiennes).