Pré-entraînement : BiLSTM et Transformateur

Cette séance de cours explore le concept de modèles de pré-formation en apprentissage profond pour le traitement du langage naturel, en se concentrant sur les architectures BiLSTM et Transformer. Il se penche sur l'utilisation de représentations contextualisées de mots pour le transfert vers de nouvelles tâches, en discutant de modèles comme ELMO, BERT et GPT. La présentation couvre le processus de formation, les détails de l'architecture et les applications de ces modèles, montrant leur efficacité dans diverses tâches de PNL. En outre, il explique la motivation derrière la pré-formation à partir de lintégration de mots, limportance de la modélisation du langage, et les avantages de peaufiner les modèles pour des tâches spécifiques.