Cette séance de cours couvre le concept de processus Markov, les densités de transition, et la distribution de Xt+1 sous réserve de l'information au moment t. Il traite également de la matrice de transition, des probabilités de transition et de l'équation Chapman-Kolmogorov. L'instructeur explique la classification des états, les distributions fixes et les distributions limites dans les chaînes de Markov.