Réseaux de mémoire à court terme

Cette séance de cours couvre les défis de la disparition et de l'explosion des gradients dans les réseaux neuronaux récurrents (RNN) et présente les réseaux de mémoire à long terme (LSTM) comme une solution. Il explique l'architecture des LSTM, y compris le concept d'états cellulaires, de portes et de gestion de la mémoire. La séance de cours traite également des RNN bidirectionnels et des RNN multicouches, en soulignant leurs avantages et leurs considérations pratiques. En outre, il explore l’impact des LSTM sur diverses tâches de PNL et les compare à d’autres architectures de réseaux neuronaux.