Séance de cours
Élargissement des modèles de langage
Description
Cette séance de cours porte sur l'échelle des modèles linguistiques, sur les défis et les avantages de la formation et sur le déploiement de grands modèles. Il explore l'évolution de la taille des modèles au fil des ans, l'incidence de la taille des modèles sur la performance et les compromis entre la taille des modèles, la taille des données et les ressources de calcul. L'instructeur souligne l'importance des lois d'échelle pour estimer la taille optimale des modèles et des ensembles de données pour un budget de calcul fixe.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.