Accélérateurs Machine Learning : Types et efficacité

Cette séance de cours couvre les types de charges de travail d'apprentissage automatique, y compris l'inférence et la formation, et l'intensité de calcul des réseaux neuronaux profonds. Il traite des différents types de couches DNN, telles que les couches convolutive et entièrement connectées, et des différences de calcul entre elles. La séance de cours explore également le concept de tableaux systolique dans les DNN, en se concentrant sur les éléments de traitement spatialement répartis et le fonctionnement de base de la multiplication matrice-matrice. En outre, il explore les inefficacités des CPU et des GPU pour les DNN, soulignant le besoin d’accélérateurs spécialisés tels que les TPU. L'instructeur souligne l'importance du mouvement des données dans les DNN et comment des systèmes tels que les TPU tirent parti de la tolérance de l'algorithme à une faible précision pour atteindre des performances élevées à une faible utilisation.