Couvre les chaînes de Markov et leurs applications dans les algorithmes, en se concentrant sur l'échantillonnage Markov Chain Monte Carlo et l'algorithme Metropolis-Hastings.
Discute des processus décisionnels de Markov et des techniques de programmation dynamique pour résoudre des politiques optimales dans divers scénarios.
