Apprentissage de la représentation textuelle : Inscriptions de mots

Cette séance de cours couvre le concept fondamental de l'apprentissage de la représentation textuelle, en mettant l'accent sur l'intégration des mots. Il explique le processus d'apprentissage des représentations numériques pour les mots à l'aide de techniques comme la factorisation matricielle. La séance de cours s'inscrit dans la matrice de co-occurrence, le modèle GloVe et les représentations de mots d'apprentissage par la factorisation de la matrice. Il traite également des analogies de mots et des méthodes de formation impliquées dans l'apprentissage de l'intégration de mots. De plus, il explore l'utilisation de grands modèles comme les transformateurs pour prédire le mot suivant dans un texte. La séance de cours se termine par des indications sur les ressources sur word2vec, GloVe, FastText et send2vec.