Élargissement des modèles de langage

Cette séance de cours porte sur l'échelle des modèles linguistiques, sur les défis et les avantages de la formation et sur le déploiement de grands modèles. Il explore l'évolution de la taille des modèles au fil des ans, l'incidence de la taille des modèles sur la performance et les compromis entre la taille des modèles, la taille des données et les ressources de calcul. L'instructeur souligne l'importance des lois d'échelle pour estimer la taille optimale des modèles et des ensembles de données pour un budget de calcul fixe.