Probabilité stationnaire d'une chaîne de Markov

La probabilité stationnaire d'une chaîne de Markov s'interprète usuellement comme la fraction du temps passé en chaque état de l'espace d'états de cette chaîne de Markov, asymptotiquement. En effet, une version de la loi forte des grands nombres pour les chaînes de Markov stipule que : presque sûrement, sous certaines hypothèses détaillées plus bas. La variable aléatoire s'interprète comme le temps passé en lors des premiers pas de la chaîne de Markov La fraction est donc la fraction de temps passé en l'état pendant les premiers pas de la chaîne de Markov. La convergence de cette fraction lorsque tend vers l'infini n'est pas un résultat anodin. On trouvera une discussion plus poussée sur le temps de séjour sur la page Récurrence et transience d'une chaîne de Markov. L'existence d'une probabilité stationnaire pour une chaîne de Markov irréductible est liée aux propriétés du temps de retour en et en particulier aux propriétés de récurrence de l'état Rappelons que lorsqu'on étudie une chaîne de Markov particulière, sa matrice de transition est en général bien définie et fixée tout au long de l'étude, mais la loi initiale peut changer lors de l'étude et les notations doivent refléter la loi initiale considérée sur le moment : si à un moment de l'étude on considère une chaîne de Markov de loi initiale définie par alors les probabilités sont notées et les espérances sont notées En particulier, si on dit que la chaîne de Markov part de les probabilités sont notées et les espérances sont notées Ci-dessus, dans la notation l'indice signifie qu'on calcule l'espérance pour la chaîne de Markov partant de i.e. de loi initiale définie par Ainsi s'interprète comme l'intervalle de temps "typique" entre deux passages consécutifs à l'état La relation entre existence et unicité des probabilités stationnaires, classifications des états de la chaîne de Markov et récurrence positive est traité dans un cadre complètement général à la section Existence et unicité. Cependant les théorèmes ci-dessus, valables uniquement pour les chaînes de Markov irréductibles, sont suffisants dans un grand nombre d'exemples.