Markov Chains: Classement des Etats

Cette séance de cours couvre la classification des états dans les chaînes de Markov, introduisant le concept de communication des classes et des états absorbants. Il explique les temps de frappe, les probabilités de frappe et le calcul des temps de frappe attendus. La séance de cours se penche également sur les chaînes de naissance et de mort, illustrant la première analyse de transition et les probabilités d'absorption. L'instructeur démontre l'application de ces concepts à travers des exemples comme la ruine du joueur, en soulignant l'importance de comprendre la probabilité d'atteindre certains états. La séance de cours se termine par des discussions sur les équations de différence homogènes et la durée prévue des jeux dans divers scénarios.