Accélérateurs Deep Learning : Stratégies d’optimisation

Cette séance de cours explore les stratégies d'optimisation pour les accélérateurs d'apprentissage en profondeur, en se concentrant sur la réduction du mouvement des données dans les DNN grâce à des techniques telles que le traitement par lots, les optimisations de flux de données et la compression. L'instructeur explique les compromis impliqués dans le traitement par lots, les avantages des optimisations de flux de données pour l'efficacité énergétique, ainsi que les défis et le potentiel des techniques de compression. Divers concepts tels que la réutilisation du poids, la réutilisation des entrées et différentes architectures de flux de données sont explorés pour maximiser l'efficacité des accélérateurs d'apprentissage en profondeur.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (82)

Concepts associés (157)

CS-471: Advanced multiprocessor architecture

Multiprocessors are now the defacto building blocks for all computer systems. This course will build upon the basic concepts offered in Computer Architecture I to cover the architecture and organizati

Throughput

Le throughput est le taux de production ou la vitesse à laquelle quelque chose peut être traitée. Ce terme peut aussi désigner le débit global d'un routeur ou d'un nœud du réseau. Lorsqu'il est utilisé dans le cadre des réseaux de télécommunications, tels que ethernet ou un réseau radio en mode paquet, le throughput d'un réseau est le débit de transmission utile du réseau sur un canal de communication (messages reçus avec succès). Les données de ces messages peuvent être émises sur un lien physique ou logique, ou bien à travers un nœud du réseau.

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Compression de données

La compression de données ou codage de source est l'opération informatique consistant à transformer une suite de bits A en une suite de bits B plus courte pouvant restituer les mêmes informations, ou des informations voisines, en utilisant un algorithme de décompression. C'est une opération de codage qui raccourcit la taille (de transmission, de stockage) des données au prix d'un travail de compression. Celle-ci est l'opération inverse de la décompression.

Measuring network throughput

Throughput of a network can be measured using various tools available on different platforms. This page explains the theory behind what these tools set out to measure and the issues regarding these measurements. Reasons for measuring throughput in networks. People are often concerned about measuring the maximum data throughput in bits per second of a communications link or network access. A typical method of performing a measurement is to transfer a 'large' file from one system to another system and measure the time required to complete the transfer or copy of the file.

Réseau neuronal convolutif

En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.

Modèles Vision-Langue-Action : Formation et applications

Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.

Dynamique des réseaux neuronaux linéaires

Explore la dynamique d'apprentissage des réseaux neuronaux profonds en utilisant des réseaux linéaires pour l'analyse, couvrant les réseaux à deux couches et à plusieurs couches, l'apprentissage autosupervisé et les avantages de l'initialisation découplée.

SVD: Décomposition de la valeur singulaire MATH-212: Analyse numérique et optimisation

Couvre le concept de Décomposition de Valeur Singulaire (SVD) pour compresser l'information dans les matrices et les images.

Méthodes de regroupement

Couvre les méthodes de regroupement des moyennes K, hiérarchiques et DBSCAN avec des exemples pratiques.

Réseaux neuronaux : formation et activation CIVIL-226: Introduction to machine learning for engineers

Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.