Apprentissage par renforcement: Exploration, Attribution de crédit, TRPO, PPO

Cette séance de cours couvre les principaux problèmes de l'apprentissage par renforcement (RL), en se concentrant sur l'exploration / exploitation et la cession de crédits. Il examine les défis de l'optimisation des politiques, en soulignant la nécessité d'équilibrer l'exploration et l'exploitation. L'instructeur explique les concepts de TRPO et de PPO pour l'amélioration monotone de RL, soulignant l'importance d'empêcher le surajustement aux trajectoires échantillonnées. En outre, les limites de RL sont explorées, y compris les problèmes de sécurité de l'exploration dans des contextes non simulés et la difficulté de l'attribution de crédit dans des scénarios à faible rendement. La séance de cours se termine par une discussion sur les compromis de l'utilisation de simulateurs dans la formation RL et les implications pour les applications du monde réel.