Apprentissage auto-supervisé: État de l'art

Cette séance de cours couvre l'importance de l'apprentissage auto-supervisé, en mettant l'accent sur l'apprentissage par transfert et les tâches de pré-formation. Il explore le SSL en tant que tâche de prédiction, les encodeurs de contexte pour l'apprentissage des fonctionnalités par inpainting et l'apprentissage de la représentation visuelle non supervisé. La séance de cours se penche sur des tâches telles que la prédiction des rotations d'images, l'évaluation linéaire imageNet, l'apprentissage contrasté et le choix des augmentations. Il traite également du contraste de l'élan pour l'apprentissage de la représentation visuelle non supervisée, de l'approche BYOL et de ce qui ne devrait pas être contrastif dans l'apprentissage contrastif. L'instructeur met l'accent sur l'impact des domaines de pré-formation et l'évolutivité des apprenants de la vision avec des auto-encodeurs masqués.