Modèles linguistiques : réseaux neuronaux à contexte fixe et récurrents

Cette séance de cours couvre les fondamentaux des modèles de langage, en se concentrant sur les modèles neuronaux à contexte fixe et les réseaux neuronaux récurrents (RNN). Il commence par une introduction aux modèles de langage, en discutant des limites des modèles de n-gramme, en particulier leur incapacité à capturer les similitudes entre les séquences à moins quelles ne se chevauchent. L'instructeur explique comment les réseaux neuronaux peuvent résoudre ces problèmes en composant des incorporations de mots dans des vecteurs pour le traitement du langage naturel. La séance de cours se penche ensuite sur les modèles de langage neuronal à contexte fixe, illustrant comment ils prédisent le mot suivant en fonction d'un contexte donné. La discussion met en évidence les avantages de ces modèles, tels que la résolution des problèmes de parcimonie et la réduction de la taille du modèle. Cependant, il aborde également leurs limites, y compris le défi de l'encodage des dépendances à longue portée. La séance de cours passe à des réseaux neuronaux récurrents, expliquant leur structure et comment ils maintiennent une boucle de rétroaction pour modéliser des séquences de longueur variable. L'instructeur souligne l'importance des RNN dans la capture de l'histoire des séquences, ce qui les rend appropriés pour diverses tâches de langage naturel.