Couvre les processus de Markov, les densités de transition et la distribution sous réserve d'information, en discutant de la classification des états et des distributions fixes.
Explore le concept de distribution stationnaire dans les chaînes de Markov, en discutant de ses propriétés et de ses implications, ainsi que des conditions d'une récurrence positive.
Explore les distributions invariantes, les états récurrents et la convergence dans les chaînes de Markov, y compris des applications pratiques telles que PageRank dans Google.
Introduit des modèles de Markov cachés, expliquant les problèmes de base et les algorithmes comme Forward-Backward, Viterbi et Baum-Welch, en mettant laccent sur lattente-Maximisation.
Couvre la théorie de l'échantillonnage de Markov Chain Monte Carlo (MCMC) et discute des conditions de convergence, du choix de la matrice de transition et de l'évolution de la distribution cible.
