Stratégies de formation pour les transformateurs

Cette séance de cours porte sur les stratégies de formation des transformateurs, axées sur les applications dans le NLP et Vision. Il traite des architectures de transformateurs de vanille, des stratégies de pré-formation et des progrès récents sur le terrain. L'instructeur met l'accent sur l'évolution rapide de la recherche sur les transformateurs et sur les défis liés à la mise à niveau des modèles. Diverses techniques comme BERT, BEIT et GPT sont expliquées, ainsi que leurs méthodologies de formation respectives. La séance de cours aborde également les limites des modèles à grande échelle et les coûts de calcul impliqués. Dans l'ensemble, il fournit un aperçu des principaux aspects de la formation des transformateurs et des tendances actuelles sur le terrain.