Modélisation linguistique et réseaux neuronaux récurrents

Cette séance de cours couvre les fondamentaux de la modélisation du langage et des réseaux neuronaux récurrents (RNN). Il explique comment les modèles de langage prédisent le mot suivant dans une séquence et comment les RNN s'attaquent au problème du gradient de disparition. La séance de cours présente des modèles de langage n-gram, discute des défis de la sparté et du stockage, et présente des solutions comme le lissage et le recul. Il s'inscrit ensuite dans les RNN, expliquant leur architecture, leur processus de formation et l'utilisation des LSTM pour saisir les dépendances à long terme. La séance de cours explore également les RNN bidirectionnelles et multicouches, mettant en évidence leurs avantages dans la saisie d'informations contextuelles et la construction de représentations complexes.