Compression du modèle: Techniques pour des modèles NLP efficaces

Cette séance de cours sur la compression des modèles dans les NLP modernes couvre diverses techniques telles que la taille, la quantification, la factorisation du poids, le partage du poids, la distillation des connaissances et les transformateurs sub-quadratiques. Il traite des défis des grands modèles de langage, des avantages des modèles de compression et de l'impact sur l'empreinte mémoire et le temps d'inférence. La séance de cours explore également le concept de distillation des connaissances, en tirant parti des étiquettes douces pour les modèles étudiants, et l'importance des mécanismes d'attention dans les modèles de transformateurs.