Modèles génériques : Apprentissage autosupervisé

Cette séance de cours porte sur les modèles génériques, axés sur l'apprentissage autosupervisé et la modélisation du langage masqué (MLM). Il explique les apports de formation du BERT et le concept d'ingénierie rapide. La séance de cours se penche également sur l'apprentissage contrasté et les méthodes d'intégration conjointe, soulignant l'importance de repousser les représentations de points de vue non liés. Il introduit SimCLR, un cadre d'apprentissage contrastant avec des choix optimisés, et discute de la génération de vues avec l'augmentation des données. La séance de cours se termine par une explication détaillée des NPG conditionnels et de leurs applications dans la production d'échantillons de distribution conditionnelle.