Processus empirique | EPFL Graph Search

En probabilités, le processus empirique est un processus stochastique qui s'exprime en fonction de la proportion d'objets appartenant à un certain ensemble. Ce processus fait intervenir les déviations d'une statistique autour de sa moyenne et sera donc utile dans l'étude de la plupart d'entre elles. Si sont des variables aléatoires réelles indépendantes et identiquement distribuées (i.i.d.) ayant pour fonction de répartition alors on définit le processus empirique réel par où est la fonction de répartition empirique associée à l'échantillon . Il est possible de généraliser cette définition au cas où le processus empirique serait indexé par une classe de fonctions mesurables définies sur un espace et à valeurs réelles. Si les sont i.i.d à valeurs dans un espace et est une fonction mesurable, alors on définit par : On retombe en particulier sur la première définition quand on prend la classe des fonctions indicatrices . Il est également possible de définir le processus empirique indexé par des classes de fonctions via la mesure empirique et la mesure des , : Quand le contexte est clair, on peut noter le processus empirique par . D'après le théorème de Donsker, le processus empirique converge vers un pont brownien dans l'espace de Skorokhod, c'est-à-dire un processus gaussien centré dont la fonction de covariance est donnée par Pour généraliser ce résultat dans le cas où l'on travaille avec le processus indexé par une classe de fonctions, on appelle classe de Donsker toute classe de fonctions de fonctions mesurables à valeurs réelles vérifiant où est un processus de -pont brownien, c'est-à-dire un processus gaussien centré dont la covariance vérifie ici Le théorème de Donsker revient à dire que la classe des fonctions indicatrices est une classe de Donsker. Approximation forteL'approximation forte consiste à créer un espace convenable sur lequel des objets théorique comme la somme partielle de variables aléatoires i.i.d. ou le processus empirique sera proche de sa limite. Il existe plusieurs résultats concernant le processus empirique.

Optimal Classification In Sparse Gaussian Graphic Model

Zhigang Yao, Yingying Fan

Consider a two-class classification problem where the number of features is much larger than the sample size. The features are masked by Gaussian noise with mean zero and covariance matrix Sigma, where the precision matrix Omega = Sigma(-1) is unknown but is presumably sparse. The useful features, also unknown, are sparse and each contributes weakly (i.e., rare and weak) to the classification decision. By obtaining a reasonably good estimate of Omega, we formulate the setting as a linear regression model. We propose a two-stage classification method where we first select features by the method of Innovated Thresholding (IT), and then use the retained features and Fisher's LDA for classification. In this approach, a crucial problem is how to set the threshold of IT. We approach this problem by adapting the recent innovation of Higher Criticism Thresholding (HCT). We find that when useful features are rare and weak, the limiting behavior of HCT is essentially just as good as the limiting behavior of ideal threshold, the threshold one would choose if the underlying distribution of the signals is known (if only). Somewhat surprisingly, when Omega is sufficiently sparse, its off-diagonal coordinates usually do not have a major influence over the classification decision. Compared to recent work in the case where Omega is the identity matrix [Proc. Natl. Acad. Sci. USA 105 (2008) 14790-14795; Philos. Trans. R. Soc. Lond. Ser. A Math. Phys. Eng. Sci. 367 (2009) 4449-4470], the current setting is much more general, which needs a new approach and much more sophisticated analysis. One key component of the analysis is the intimate relationship between HCT and Fisher's separation. Another key component is the tight large-deviation bounds for empirical processes for data with unconventional correlation structures, where graph theory on vertex coloring plays an important role.

Institute of Mathematical Statistics2013

Optimal Classification In Sparse Gaussian Graphic Model

Zhigang Yao, Yingying Fan

Institute of Mathematical Statistics2013