Convergence de la chaîne de Markov

Cette séance de cours couvre la convergence des chaînes de Markov, en se concentrant sur la distribution invariante et la loi des grands nombres. L'instructeur explique le concept de distribution invariante, l'interprétation de la loi des grands nombres dans le contexte des chaînes de Markov et la preuve du LLN de Markov. La séance de cours se penche sur le calcul des récompenses moyennes et la durée des excursions dans les chaînes de Markov, soulignant l'importance de comprendre les propriétés de convergence de ces processus stochastiques.