Préformation: Transformateurs et modèles

Cette séance de cours explore le concept de modèles de préformation, en mettant l'accent sur l'utilisation de l'intégration de mots et de représentations contextuelles de mots pour l'apprentissage du transfert. Il couvre des modèles clés tels que BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications. La séance de cours se penche sur les motivations qui sous-tendent la préformation des modèles, l'efficacité des grands modèles et les avantages de l'apprentissage en contexte. Il examine également les limites des encodeurs préformés, les extensions du BERT et les progrès des méthodes de réglage fin par paramètre. En outre, il traite de la préformation des encodeurs et des décodeurs, de la série GPT, et des implications des modèles de très grands langages comme GPT-3.