Pertes contrastives : Word2Vec et Skip-gram

Cette séance de cours introduit des pertes contrastantes pour l'apprentissage de la représentation, en mettant l'accent sur les modèles Word2Vec et Skip-gram. Il couvre les objectifs de formation, les fenêtres contextuelles, l'échantillonnage négatif et l'estimation du bruit contrastif. La séance de cours explore également InfoNCE/CPC et ses applications dans les données d'images et de graphiques, ainsi que des sujets connexes comme l'apprentissage métrique profond et les modèles basés sur l'énergie.