Apprentissage autosupervisé : tâches prétextales et BERT

Cette séance de cours couvre le concept d'apprentissage autosupervisé, où le modèle génère des signaux de supervision à partir de l'entrée elle-même pour apprendre des caractéristiques utiles. Il explore diverses tâches de prétexte comme prédire la rotation de l'image, la colorisation et la modélisation du langage masqué. La séance de cours s'inscrit également dans le BERT, un modèle linguistique formé à la modélisation des langues masquées, permettant une compréhension bidirectionnelle des séquences de texte.