Apprentissage par renforcement : TD Learning et les variantes de la LEP

Cette séance de cours couvre les bases de l'apprentissage par renforcement, en se concentrant sur l'apprentissage par différence temporelle (TD) et ses différents algorithmes, en particulier SARSA. L'instructeur commence par un examen de l'apprentissage TD, expliquant son importance dans la résolution de l'équation de Bellman. La séance de cours présente le concept des valeurs Q, qui représentent le rendement attendu des paires État-action, et discute de l'importance des politiques dans l'apprentissage par renforcement. L'instructeur développe l'algorithme SARSA, détaillant ses étapes et le diagramme de sauvegarde utilisé pour les mises à jour. Les variations du SRASA, y compris le SRASA attendu et le Q-learning, sont également examinées, mettant en évidence leurs différences dans l'application des politiques. La séance de cours met l'accent sur l'efficacité des méthodes TD par rapport aux méthodes Monte Carlo dans la diffusion d'informations sur les récompenses. L'instructeur termine par une discussion sur les traces d'admissibilité, qui améliorent la vitesse d'apprentissage, et engage les élèves avec des exercices pour renforcer leur compréhension des concepts présentés.