Modèles Vision-Langue-Action : Formation et applications

Cette séance de cours explore la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur les grands modèles linguistiques et leur intégration au contrôle robotique. La présentation couvre des sujets tels que le langage pour récompenser la synthèse des compétences robotiques, les VLM comme politiques des robots, et le transfert des connaissances web au contrôle robotique. Les résultats de diverses expériences sont discutés, montrant les compétences émergentes, les évaluations quantitatives et la performance de différents modèles dans les tâches basées sur la langue. La séance de cours se termine par des réflexions sur la représentation des actions dans les MVG et les orientations futures de la recherche dans ce domaine.