Paradoxe de Stein

Le paradoxe de Stein est un résultat de statistique, dû au statisticien Charles Stein, exposé dans un article de 1956, puis étendu dans un article co-écrit avec Willard James en 1961. Ce résultat n'est pas paradoxal à proprement parler, mais surprenant et contre intuitif. Il constitue un pas important dans l'introduction des (shrinkage estimators en anglais) en montrant que l' domine strictement l'estimateur du maximum de vraisemblance. Son caractère paradoxal vient du fait qu'il justifie de combiner des observations sans rapport entre elles pour estimer leurs espérances. Soient variables aléatoires réelles indépendantes ayant des distributions normales d'espérances , et toutes de variance . Le paradoxe concerne l'estimation des espérances . Il est facile de montrer que l'estimateur du maximum de vraisemblance estime par , par , ... , par . Notons le vecteur aléatoire de ayant pour coordonnées et le vecteur de ayant pour coordonnées . L'estimateur du maximum de vraisemblance de est alors simplement . Cet estimateur est non biaisé, et il s'agit de l'estimateur non biaisé de plus petite variance. Cependant, le paradoxe de Stein est que si , il existe un meilleur estimateur : l'estimateur de James-Stein (nommé d'après Willard James et Charles Stein), défini par , où est le carré de la norme de . Le mot meilleur ici est à prendre au sens du risque quadratique. Le risque quadratique d'un estimateur est défini par : (ce risque correspond à une erreur quadratique moyenne multiparamétrique). L'estimateur de James-Stein est meilleur au sens qu'il a un plus faible risque quadratique que l'estimateur du maximum de vraisemblance, et ce quel que soit . On dit que l'estimateur de James-Stein domine l'estimateur du maximum de vraisemblance. Cette domination est stricte car il existe des valeurs de pour lesquelles le risque de l'estimateur de James-Stein est strictement plus petit que celui de l'estimateur du maximum de vraisemblance. Ce résultat peut être énoncé de manière plus concise: Reprenons les notations précédentes et calculons le risques quadratiques des deux estimateurs.