Explore les mots, les jetons et les modèles de langage en PNL, couvrant les défis liés à leur définition, à l'utilisation du lexique, aux n-grammes et à l'estimation des probabilités.
Explore les modèles de préformation comme BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications dans le traitement des langues naturelles.
Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.
