Processus de décision de Markov: Techniques de programmation dynamique

Cette séance de cours couvre les principes fondamentaux des processus décisionnels de Markov (MDP) et leurs applications en programmation dynamique. Il commence par une introduction aux valeurs Q et à la signification des MDP dans la définition des chaînes de Markov avec des probabilités de transition dépendantes du temps. L'instructeur discute de l'exercice Cliff-Walking MDP, en soulignant l'importance de comprendre les états absorbants et leurs implications pour la formulation des politiques. La séance de cours explore ensuite les itérations à point fixe et le théorème de point fixe de Banach, illustrant comment ces concepts peuvent être appliqués pour résoudre des équations de manière itérative. L'opérateur Bellman est introduit en tant que mappage de clés dans les MDP, ce qui permet le calcul de politiques optimales par itération de valeur. Le processus de maximisation des valeurs actualisées futures est expliqué, mettant en évidence la convergence de l'opérateur Bellman vers un point fixe unique. La séance de cours se termine par une discussion sur les caractéristiques des politiques optimales, mettant l'accent sur leur nature déterministe et stationnaire dans des scénarios d'horizon infini, et introduit l'itération de valeur en tant qu'algorithme pratique pour résoudre les MDP.