Processus de décision de Markov: fondements de l'apprentissage par renforcement

Cette séance de cours présente les processus décisionnels de Markov (MDP), un concept fondamental de l'apprentissage par renforcement. L'instructeur commence par définir les MDP, en mettant l'accent sur leur structure, qui comprend un ensemble fini d'états et d'actions, de probabilités de transition et de récompenses immédiates. La séance de cours couvre la formulation des MDP, en se concentrant sur les espaces d'état et d'action discrets, et explique l'importance des récompenses immédiates et des probabilités de transition. L'instructeur explique comment résoudre les MDP en utilisant la programmation dynamique et les techniques de programmation linéaire, en mettant en évidence des méthodes telles que l'itération de valeur et l'itération de politique. Des exemples sont fournis pour illustrer les PDM dans des scénarios pratiques, y compris un exemple de voyage à Rome, qui démontre lapplication détats absorbants. La relation entre les PDM et l’apprentissage par renforcement est également explorée, précisant que, bien que les PDM assument des dynamiques et des récompenses connues, l’apprentissage par renforcement traite souvent d’inconnues. La séance de cours se termine par des exercices pour renforcer la compréhension des MDP et de leurs applications dans les problèmes d'optimisation.