Transformers : pré-entraînement

Cette séance de cours couvre les défis du modèle Transformer, tels que le calcul quadratique en auto-attention et les limites des représentations de position absolue. Il explore également les progrès récents dans la réduction du coût d'auto-attention quadratique et l'amélioration des représentations de position en utilisant l'attention de position linéaire relative. En outre, il discute du concept de transformateurs de graphique à graphique et résume les principales caractéristiques des transformateurs, y compris l'auto-attention bidirectionnelle et l'utilisation de plusieurs têtes d'attention. La séance de cours se penche sur les modèles de préformation comme ELMO, BERT et GPT, et examine la structure des mots et les modèles de sous-mots, soulignant limportance de la tokenisation des sous-mots dans la PNL.