Séance de cours
Cette séance de cours traite de l'application des transformateurs dans la perception incarnée et la robotique. Il commence par relever les défis liés à l’obtention de données réelles pour des tâches robotiques spécifiques, telles que la récupération d’objets. L'instructeur met en évidence l'utilisation de simulateurs pour générer des données spécifiques à la tâche, permettant une formation approfondie sans les limites des environnements du monde réel. La séance de cours couvre diverses architectures de transformateurs, y compris les modèles codeurs-décodeurs, et leur efficacité dans l'apprentissage à partir de grands ensembles de données. Les sujets clés incluent l'apprentissage par imitation à grande échelle, le transfert sim-to-real transparent et l'utilisation de transformateurs pour la locomotion humanoïde. L'instructeur explore également les transformateurs de décision, qui encadrent l'apprentissage par renforcement en tant que problème de modélisation séquentielle, et introduit le concept de contrôleurs universels qui s'adaptent à différentes morphologies de robots. La séance de cours se termine par un aperçu de l'importance des données dans la formation des transformateurs et des défis d'ingénierie liés au déploiement efficace de ces modèles dans des scénarios réels.