Apprentissage autosupervisé

Cette séance de cours porte sur le concept d'apprentissage autosupervisé, en mettant l'accent sur les bonnes techniques d'intégration pour les tâches en aval, l'utilisation de HSIC pour prévenir l'effondrement du réseau et l'importance de l'information géométrique. Il explore également la fonction de perte HSIC, l'encodage à une chaleur et la connexion avec le cluster. La séance de cours met l'accent sur la corrélation entre l'intégration des caractéristiques et l'identité, la pénalisation des représentations de variance élevée et les simplifications apportées par la structure spéciale des données. De plus, il se plonge dans l'intuition intérieure du produit et les possibilités d'effondrement dans le contexte de l'apprentissage auto-supervisé.