Accélérateurs Deep Learning : Stratégies d’optimisation
Graph Chatbot
Chattez avec Graph Search
Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.
AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.
Par Meenakshi Khosla explore la modélisation basée sur les données dans les neurosciences naturalistes à grande échelle, en mettant l'accent sur la représentation de l'activité cérébrale et les modèles de calcul.
Explore l'optimisation des réseaux neuronaux, y compris la rétropropagation, la normalisation des lots, l'initialisation du poids et les stratégies de recherche d'hyperparamètres.
Introduit des concepts fondamentaux d'apprentissage automatique, couvrant la régression, la classification, la réduction de dimensionnalité et des modèles générateurs profonds.
Explore les charges de travail d'apprentissage automatique, les couches DNN, les tableaux systolique et l'efficacité des accélérateurs spécialisés tels que les TPU.
Explore les techniques de compression des modèles dans les NLP, en discutant de la taille, de la quantification, de la factorisation du poids, de la distillation des connaissances et des mécanismes d'attention.
Explore la compression du modèle de deuxième ordre pour les réseaux neuronaux profonds massifs, montrant les techniques de compression et leur impact sur la précision du modèle.
Explore l'arithmétique informatique, en mettant l'accent sur les nombres de points fixes et flottants, la norme IEEE 754, la portée dynamique et les opérations de points flottants dans l'architecture MIPS.
